如何自动测试ETL工具的结果？

Question

如果使用ETL工具将数据从OLTP数据库移动到“业务智能报告”数据库，那么是否有任何标准方法可以自动测试报表数据库中的数据是否准确和正确？

注意:我对测试ETL工具本身的功能并不感兴趣，只想知道最终的DB是否与预期的匹配。

Answer 1

“只有结果DB与预期的匹配”

因此，您需要获取一些固定的测试数据集，运行ETL进程，并将结果DB的内容与一组引用数据进行比较。就这样。测试数据集应该足够小，以便在合理的时间内验证结果，并且足够复杂，以涵盖ETL过程的所有重要步骤。

在技术上如何进行比较取决于您自己，它取决于特定的数据库系统、参考数据的可用性和大小、系统的总体大小和复杂性、您手头有哪些工具来进行有意义的比较、您的时间限制、所需的比较细节级别、您的个人技能水平等等。没有“一刀切”的解决方案，你需要找出什么最适合你的需要，泰勒你的环境对此。

Answer 2

如果您正在考虑数据迁移(没有转换)，您可以实现来自源和目标的某些选定数据的校验和(散列值)，如果它们匹配，则几乎可以保证完整和诚实的迁移。

但是，在一些罕见的情况下，哈希值可能会发生冲突，因此您可能需要考虑两个或多个检查以确保完整性。