比较不同服务器上两个不同数据库之间数据的最佳方法

Question

我们正在将数据从DB2数据库迁移到Hadoop。迁移实际上是在DB2上运行DB2，将其导出到一个分隔文件，接受该文件并将其放入Hadoop。DB2和Hadoop驻留在不同的服务器上，不同的网络上。我们需要运行一些验证步骤，以确保从DB2提取的数据已经完全导入到Hadoop。因此，只在这两个系统上运行select count(1) from table1是没有帮助的，因为我们可以有一些列值由于特定的字符问题(e.x)而无法导入的情况。(新线等)

在这两个系统上以编程方式测试数据是否相同的最佳方法是什么？

P.S: Hadoop和DB2都运行在RHEL上，所以如果有任何在这个过程中有帮助的特定于Linux的工具可以包括在内。

Answer 1

不确定这是否是“最好的”方法，但我的方法是：

1. 正如前面的海报所建议的那样，将数据从Hadoop导出到一个分隔文件，并对DB2导入文件运行一个diff。这可能是最简单的方法。
2. 编写一个简单的实用程序，它同时连接到两个数据库，从两个表中获取数据进行比较，并比较结果集。谷歌搜索了一下之后，似乎已经有了一些实用工具--比如http://www.dbsolo.com/datacomp.html。

希望这能有所帮助。