如何比较数据库中的大量数据？

Question

例如。2数据来源，1数据库，你被允许干预，另一个你不是。这两个数据源包含人员记录，您需要执行以下功能。

1. 从两个数据源查找匹配的人员，
2. 对这些匹配的人运行业务规则(这可能是检查此人是否获得加薪等等)，
3. 标记孤儿，并将此人的业务规则保存到数据库中。

问题的原因在于性能和确保使用最优解决方案。循环遍历每个匹配的人可能很慢，但是在代码中这样做绝对是可维护的。

注意:可能有40k人可以运行业务规则。

Answer 1

我正在开发一个执行非常类似操作的应用程序。我唯一不做的事情就是操纵信息(它只是读取数据)。

我所做的是将数据从1源导入到DataSet中，然后，当需要与数据库进行比较时，我只需从数据库表中选择唯一标识符与数据集中的值相同的值(您可以在SQL中使用LIKE作为替代)，如果发现了什么，它就会从数据库返回值。

因此，假设我搜索一个ID号(应该是每个人都独有的)。如果数据库在我搜索的表中有我搜索的ID号，那么我将在我的表单中得到关于那个人的信息。如果没有，我可以显示一条错误消息，说明找不到匹配项。

希望这能有所帮助。

Answer 2

如果在Server数据库中执行此操作，则将使用SSIS处理数据并执行所需的更改操作，或将人员标记为可能匹配的人员，以便在进行更改之前进行确认。我之所以要这么做的原因之一是，在不同的系统中，名称可能不匹配，使用模糊逻辑进行比较可能比使用普通的旧SQL更好、更准确。例如，同一个人在一个系统中可能是Johnny，而在另一个系统中可能是Johnny。

它还帮助那些试图匹配存储来自每个系统的唯一记录标识符的表的系统，这样在进行更改时，它们仍然可以保持匹配。当玛丽·史密斯与约翰尼·琼斯结婚，并在一个系统中改为玛丽·琼斯时，她的信息在另一个系统中仍然可以与玛丽·史密斯相匹配。