使用Java上的评分框架/应用程序/服务器来处理数据库输入阶段

Question

请建议我使用Java产品(我更喜欢开源)，这样做：

1. 数据去重复
2. 去重复评分
3. 允许自定义去重复规则和评分规则。

请参阅示例：

1. I有一个名为"INPUT_DB“
2. 的输入暂存数据库我有一个名为"INPUT_PERSONS”
3. 的表在这个表中有几个字段:ID(一些无意义的代理主键)

FIRST_NAME

LAST_NAME

SECOND_NAME

BIRTH_DATE

PASSPORT_SERIES (PASSPORT_SERIES + PASSPORT_NUM是公民的唯一标识符)

PASSPORT_NUM

我必须查看INPUT_PERSONS中的所有记录，并找到副本和匹配项。应制定若干规则：

1. 如果PASSPORT_SERIES+PASSPORT_NUM等于某个记录，就意味着这两个记录是重复的。如果
2. 与LAST_NAME相等，则这种情况下的分数为100分，但PASSPORT_SERIES+PASSPORT_NUM有一个不同的字符(例如，错误打印)，则这些记录可能重复，它们的分数为100分中的90分。

，

1. ，等等。

是否有可能找到一些现成的解决方案并将其用作基础？

Answer 1

我以前也这样做过，而且是基于费尔利吉-桑特阿尔戈。参见这个问题：Is there a open source implementation for Fellegi-Sunter?

Answer 2

杜克项目可以满足您的需求：https://github.com/larsga/Duke