首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >根据人名匹配记录

问根据人名匹配记录
EN

Stack Overflow用户
提问于 2009-06-12 17:48:17
回答 5查看 6.8K关注 0票数 18

是否有任何工具或方法可用于在两个不同的数据源之间按人名进行匹配?

这些系统没有其他通用信息,并且在许多情况下输入的名称也不同。

非精确匹配的示例:

King Jr.,Martin Luther = King,Martin (不包括后缀)

Erving,Dr. J. = Erving,J. (不包括前缀)

奥巴马,巴拉克·侯赛因=奥巴马,巴拉克(不包括中间名)

Pufnstuf,H.R. = Pufnstuf,Haibane Renmei (比赛缩写)

Tankengine,Thomas = Tankengine,Tom (匹配常用昵称)

弗莱尔,瑞克“自然男孩”=弗莱尔,自然男孩(昵称匹配)

EN

回答 5

Stack Overflow用户

回答已采纳

发布于 2009-06-19 15:55:26

我不得不使用各种建议的技术。感谢您为我指明了正确的方向。希望下面的内容能帮助其他人解决这类问题。

删除多余字符

代码语言:javascript
复制
CREATE FUNCTION [dbo].[fn_StripCharacters]
(
    @String NVARCHAR(MAX), 
    @MatchExpression VARCHAR(255)
)
RETURNS NVARCHAR(MAX)
AS
BEGIN
    SET @MatchExpression =  '%['+@MatchExpression+']%'

    WHILE PatIndex(@MatchExpression, @String) > 0
        SET @String = Stuff(@String, PatIndex(@MatchExpression, @String), 1, '')

    RETURN @String

END

用法:

代码语言:javascript
复制
--remove all non-alphanumeric and non-white space  
dbo.fn_StripCharacters(@Value, , '^a-z^0-9 ')  

将名称拆分为多个部分

代码语言:javascript
复制
CREATE FUNCTION [dbo].[SplitTable] (@sep char(1), @sList StringList READONLY)
RETURNS @ResultList TABLE 
    (
        [ID] VARCHAR(MAX),
        [Val] VARCHAR(MAX)
    )
AS
BEGIN

declare @OuterCursor cursor
declare @ID varchar(max)
declare @Val varchar(max)

set @OuterCursor = cursor fast_forward for (SELECT * FROM @sList) FOR READ ONLY

open @OuterCursor

fetch next from @OuterCursor into @ID, @Val

while (@@FETCH_STATUS=0)
begin

    INSERT INTO @ResultList (ID, Val)   
    select @ID, split.s from dbo.Split(@sep, @Val) as split 
           where len(split.s) > 0

    fetch next from @OuterCursor into @ID, @Val
end

close @OuterCursor
deallocate @OuterCursor 

CREATE FUNCTION [dbo].[Split] (@sep char(1), @s varchar(8000))
RETURNS table
AS
RETURN (
    WITH Pieces(pn, start, stop) AS (
      SELECT 1, 1, CHARINDEX(@sep, @s)
      UNION ALL
      SELECT pn + 1, stop + 1, CHARINDEX(@sep, @s, stop + 1)
      FROM Pieces
      WHERE stop > 0
    )
    SELECT pn,
      LTRIM(RTRIM(SUBSTRING(@s, start, 
             CASE WHEN stop > 0 
                  THEN stop-start 
                  ELSE 8000 
             END))) AS s
    FROM Pieces
  )

RETURN

用法:

代码语言:javascript
复制
--create split name list
DECLARE @NameList StringList 

INSERT INTO @NameList (ID, Val)
SELECT id, firstname FROM dbo.[User] u
WHERE PATINDEX('%[^a-z]%', u.FirstName) > 0 

----remove split dups
select u.ID, COUNT(*)
from dbo.import_SplitTable(' ', @NameList) splitList
INNER JOIN dbo.[User] u
ON splitList.id = u.id

常用昵称:

我创建了一个基于this list的表,并使用它在通用名称等效项上连接。

用法:

代码语言:javascript
复制
SELECT u.id
, u.FirstName
, u_nickname_maybe.Name AS MaybeNickname
, u.LastName
, c.ID AS ContactID from
FROM dbo.[User] u 
INNER JOIN nickname u_nickname_match
ON u.FirstName = u_nickname_match.Name
INNER JOIN nickname u_nickname_maybe
ON u_nickname_match.relatedid = u_nickname_maybe.id
LEFT OUTER JOIN
(
    SELECT c.id, c.LastName, c.FirstName, 
         c_nickname_maybe.Name AS MaybeFirstName
    FROM dbo.Contact c
    INNER JOIN nickname c_nickname_match
    ON c.FirstName = c_nickname_match.Name
    INNER JOIN nickname c_nickname_maybe
    ON c_nickname_match.relatedid = c_nickname_maybe.id
    WHERE c_nickname_match.Name <> c_nickname_maybe.Name
) as c
ON c.AccountHolderID = ah.ID 
       AND u_nickname_maybe.Name = c.MaybeFirstName AND u.LastName = c.LastName
WHERE u_nickname_match.Name <> u_nickname_maybe.Name

语音算法(Jaro Winkler):

这篇令人惊叹的文章Beyond SoundEx - Functions for Fuzzy Searching in MS SQL Server展示了如何在SQL Server中安装和使用SimMetrics库。这个库可以让您找到字符串之间的相对相似度,并包含许多算法。我最终主要使用Jaro Winkler来匹配名称。

用法:

代码语言:javascript
复制
SELECT
u.id AS UserID
,c.id AS ContactID
,u.FirstName
,c.FirstName 
,u.LastName
,c.LastName
,maxResult.CombinedScores
 from
(
    SELECT
      u.ID
    , 
        max(
            dbo.JaroWinkler(lower(u.FirstName), lower(c.FirstName))  
            * dbo.JaroWinkler(LOWER(u.LastName), LOWER(c.LastName))
        ) AS CombinedScores
    FROM dbo.[User] u, dbo.[Contact] c
    WHERE u.ContactID IS NULL
    GROUP BY u.id
) AS maxResult
INNER JOIN dbo.[User] u
ON maxResult.id  = u.id
INNER JOIN dbo.[Contact] c
ON maxResult.CombinedScores = 
dbo.JaroWinkler(lower(u.FirstName), lower(c.FirstName)) 
* dbo.JaroWinkler(LOWER(u.LastName), LOWER(c.LastName))
票数 15
EN

Stack Overflow用户

发布于 2010-04-01 02:56:55

这是一个非常复杂的问题--有很多昂贵的工具可以正确地做到这一点。

如果你想知道为什么你不能以汤姆、迪克或哈里(或比尔)的身份登机。

或者为什么禁飞名单和恐怖分子监视名单不起作用-consider:

(1)穆阿迈尔·卡扎菲

(2)穆阿迈尔·卡扎菲

(3)穆阿迈尔·卡扎菲

(4)穆阿迈尔·卡扎菲

(5)穆阿迈尔·卡达菲

(6)穆阿迈尔·卡扎菲

(7)穆阿迈尔·卡扎菲

(8) Moamer El Kazzafi

(9)穆阿迈尔·卡扎菲

(10) Mu‘’ammar Qathafi

(11)穆阿迈尔·卡萨菲

(12)穆阿迈尔·卡扎菲

(13)穆阿迈尔·卡达菲

(14)穆阿迈尔·卡扎菲

(15)穆阿迈尔·卡扎菲

(16)穆阿迈尔·卡扎菲

(17)穆阿迈尔·卡扎菲

(18)穆阿迈尔·卡扎菲

(19)穆阿迈尔·哈达菲

(20)穆阿迈尔·哈达菲

(21) Mu‘’amar al-Kadafi

(22)穆阿迈尔·卡扎菲

(23)穆阿迈尔·卡扎菲

(24)穆阿迈尔·卡扎菲

(注25)穆阿迈尔·卡达菲

(26)穆阿迈尔·夸塔菲( Muammar Quathafi )

(27)穆阿迈尔·盖达菲( Muammar Gheddafi )

(28)穆阿迈尔·卡达菲

(29)穆阿迈尔·哈达菲

(30)穆阿迈尔·库达菲

(31)穆阿迈尔·卡扎菲

(32)穆拉齐姆·穆阿迈尔·穆罕默德·阿布·米亚尔·卡扎菲

这只是官方拼写--不包括打字错误!

票数 2
EN

Stack Overflow用户

发布于 2009-06-12 17:50:16

对于这种情况,我经常使用soundex类型的算法。尝试Double Metaphone算法。如果您使用的是SQL Server,则有一些源代码可用于创建用户定义的函数。

因为您已经转置了数据,所以您可能希望对其进行一些规范化,例如,删除所有逗号,并按第一个字母对结果单词进行排序。这将为您提供更好的匹配潜力。在中间添加了单词的情况下,就会变得有点困难。您可以考虑将名称拆分成单词,使用Double Metaphone检查另一列中是否有匹配的单词,然后收集匹配与单词的总计数,这将告诉您这两列有多接近。

在进行比较之前,我还会过滤掉一些常见的词,如Dr.、先生、女士、夫人等。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/988050

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档