是否有任何工具或方法可用于在两个不同的数据源之间按人名进行匹配?
这些系统没有其他通用信息,并且在许多情况下输入的名称也不同。
非精确匹配的示例:
King Jr.,Martin Luther = King,Martin (不包括后缀)
Erving,Dr. J. = Erving,J. (不包括前缀)
奥巴马,巴拉克·侯赛因=奥巴马,巴拉克(不包括中间名)
Pufnstuf,H.R. = Pufnstuf,Haibane Renmei (比赛缩写)
Tankengine,Thomas = Tankengine,Tom (匹配常用昵称)
弗莱尔,瑞克“自然男孩”=弗莱尔,自然男孩(昵称匹配)
发布于 2009-06-19 15:55:26
我不得不使用各种建议的技术。感谢您为我指明了正确的方向。希望下面的内容能帮助其他人解决这类问题。
删除多余字符
CREATE FUNCTION [dbo].[fn_StripCharacters]
(
@String NVARCHAR(MAX),
@MatchExpression VARCHAR(255)
)
RETURNS NVARCHAR(MAX)
AS
BEGIN
SET @MatchExpression = '%['+@MatchExpression+']%'
WHILE PatIndex(@MatchExpression, @String) > 0
SET @String = Stuff(@String, PatIndex(@MatchExpression, @String), 1, '')
RETURN @String
END用法:
--remove all non-alphanumeric and non-white space
dbo.fn_StripCharacters(@Value, , '^a-z^0-9 ') 将名称拆分为多个部分
CREATE FUNCTION [dbo].[SplitTable] (@sep char(1), @sList StringList READONLY)
RETURNS @ResultList TABLE
(
[ID] VARCHAR(MAX),
[Val] VARCHAR(MAX)
)
AS
BEGIN
declare @OuterCursor cursor
declare @ID varchar(max)
declare @Val varchar(max)
set @OuterCursor = cursor fast_forward for (SELECT * FROM @sList) FOR READ ONLY
open @OuterCursor
fetch next from @OuterCursor into @ID, @Val
while (@@FETCH_STATUS=0)
begin
INSERT INTO @ResultList (ID, Val)
select @ID, split.s from dbo.Split(@sep, @Val) as split
where len(split.s) > 0
fetch next from @OuterCursor into @ID, @Val
end
close @OuterCursor
deallocate @OuterCursor
CREATE FUNCTION [dbo].[Split] (@sep char(1), @s varchar(8000))
RETURNS table
AS
RETURN (
WITH Pieces(pn, start, stop) AS (
SELECT 1, 1, CHARINDEX(@sep, @s)
UNION ALL
SELECT pn + 1, stop + 1, CHARINDEX(@sep, @s, stop + 1)
FROM Pieces
WHERE stop > 0
)
SELECT pn,
LTRIM(RTRIM(SUBSTRING(@s, start,
CASE WHEN stop > 0
THEN stop-start
ELSE 8000
END))) AS s
FROM Pieces
)
RETURN用法:
--create split name list
DECLARE @NameList StringList
INSERT INTO @NameList (ID, Val)
SELECT id, firstname FROM dbo.[User] u
WHERE PATINDEX('%[^a-z]%', u.FirstName) > 0
----remove split dups
select u.ID, COUNT(*)
from dbo.import_SplitTable(' ', @NameList) splitList
INNER JOIN dbo.[User] u
ON splitList.id = u.id常用昵称:
我创建了一个基于this list的表,并使用它在通用名称等效项上连接。
用法:
SELECT u.id
, u.FirstName
, u_nickname_maybe.Name AS MaybeNickname
, u.LastName
, c.ID AS ContactID from
FROM dbo.[User] u
INNER JOIN nickname u_nickname_match
ON u.FirstName = u_nickname_match.Name
INNER JOIN nickname u_nickname_maybe
ON u_nickname_match.relatedid = u_nickname_maybe.id
LEFT OUTER JOIN
(
SELECT c.id, c.LastName, c.FirstName,
c_nickname_maybe.Name AS MaybeFirstName
FROM dbo.Contact c
INNER JOIN nickname c_nickname_match
ON c.FirstName = c_nickname_match.Name
INNER JOIN nickname c_nickname_maybe
ON c_nickname_match.relatedid = c_nickname_maybe.id
WHERE c_nickname_match.Name <> c_nickname_maybe.Name
) as c
ON c.AccountHolderID = ah.ID
AND u_nickname_maybe.Name = c.MaybeFirstName AND u.LastName = c.LastName
WHERE u_nickname_match.Name <> u_nickname_maybe.Name语音算法(Jaro Winkler):
这篇令人惊叹的文章Beyond SoundEx - Functions for Fuzzy Searching in MS SQL Server展示了如何在SQL Server中安装和使用SimMetrics库。这个库可以让您找到字符串之间的相对相似度,并包含许多算法。我最终主要使用Jaro Winkler来匹配名称。
用法:
SELECT
u.id AS UserID
,c.id AS ContactID
,u.FirstName
,c.FirstName
,u.LastName
,c.LastName
,maxResult.CombinedScores
from
(
SELECT
u.ID
,
max(
dbo.JaroWinkler(lower(u.FirstName), lower(c.FirstName))
* dbo.JaroWinkler(LOWER(u.LastName), LOWER(c.LastName))
) AS CombinedScores
FROM dbo.[User] u, dbo.[Contact] c
WHERE u.ContactID IS NULL
GROUP BY u.id
) AS maxResult
INNER JOIN dbo.[User] u
ON maxResult.id = u.id
INNER JOIN dbo.[Contact] c
ON maxResult.CombinedScores =
dbo.JaroWinkler(lower(u.FirstName), lower(c.FirstName))
* dbo.JaroWinkler(LOWER(u.LastName), LOWER(c.LastName))发布于 2010-04-01 02:56:55
这是一个非常复杂的问题--有很多昂贵的工具可以正确地做到这一点。
如果你想知道为什么你不能以汤姆、迪克或哈里(或比尔)的身份登机。
或者为什么禁飞名单和恐怖分子监视名单不起作用-consider:
(1)穆阿迈尔·卡扎菲
(2)穆阿迈尔·卡扎菲
(3)穆阿迈尔·卡扎菲
(4)穆阿迈尔·卡扎菲
(5)穆阿迈尔·卡达菲
(6)穆阿迈尔·卡扎菲
(7)穆阿迈尔·卡扎菲
(8) Moamer El Kazzafi
(9)穆阿迈尔·卡扎菲
(10) Mu‘’ammar Qathafi
(11)穆阿迈尔·卡萨菲
(12)穆阿迈尔·卡扎菲
(13)穆阿迈尔·卡达菲
(14)穆阿迈尔·卡扎菲
(15)穆阿迈尔·卡扎菲
(16)穆阿迈尔·卡扎菲
(17)穆阿迈尔·卡扎菲
(18)穆阿迈尔·卡扎菲
(19)穆阿迈尔·哈达菲
(20)穆阿迈尔·哈达菲
(21) Mu‘’amar al-Kadafi
(22)穆阿迈尔·卡扎菲
(23)穆阿迈尔·卡扎菲
(24)穆阿迈尔·卡扎菲
(注25)穆阿迈尔·卡达菲
(26)穆阿迈尔·夸塔菲( Muammar Quathafi )
(27)穆阿迈尔·盖达菲( Muammar Gheddafi )
(28)穆阿迈尔·卡达菲
(29)穆阿迈尔·哈达菲
(30)穆阿迈尔·库达菲
(31)穆阿迈尔·卡扎菲
(32)穆拉齐姆·穆阿迈尔·穆罕默德·阿布·米亚尔·卡扎菲
这只是官方拼写--不包括打字错误!
发布于 2009-06-12 17:50:16
对于这种情况,我经常使用soundex类型的算法。尝试Double Metaphone算法。如果您使用的是SQL Server,则有一些源代码可用于创建用户定义的函数。
因为您已经转置了数据,所以您可能希望对其进行一些规范化,例如,删除所有逗号,并按第一个字母对结果单词进行排序。这将为您提供更好的匹配潜力。在中间添加了单词的情况下,就会变得有点困难。您可以考虑将名称拆分成单词,使用Double Metaphone检查另一列中是否有匹配的单词,然后收集匹配与单词的总计数,这将告诉您这两列有多接近。
在进行比较之前,我还会过滤掉一些常见的词,如Dr.、先生、女士、夫人等。
https://stackoverflow.com/questions/988050
复制相似问题