在ETL项目中进行自动化端到端测试的最佳方法是什么？

Question

我们有一个ETL项目，其中数据从一个UI应用程序流到一系列应用程序(转换/逻辑)中。

整体的座右铭是在“UI 2”中看到“UI 1”的数据。‘'Spring Server1’调用UI1服务器的应用程序接口，数据流向不同的服务器并持久化在数据库中。脚本还会在数据库中持久存储一些数据。‘UI2 with Backend server’从数据库中获取数据，并在UI中显示。

​

​

现在的问题是，我正在寻找执行E2E测试的最佳方法。我们首先触发“Spring Java Server1”，它调用“UI1with BackendServer 1”的API，最后使用selenium查看“UI2”中的数据。

我正在考虑创建一个单独的Java应用程序，使用UI只是为了测试触发“Server1”的应用程序，并使用selenium验证UI2，但问题出在脚本上。在数据库之后，我们必须手动运行脚本，然后等待它完成。我们如何通过某种状态管理来自动手动运行脚本？

请就E2E的体系结构或如何增强此E2E设置提出更多建议。以及我可以使用哪些工具/框架。

Answer 1

关于自动化脚本的执行，请看PowerShell。它是一个强大的工具，用于自动化重复性和耗时的任务，例如自动执行脚本，而不是手动执行。还可以创建连接到SQL Server以运行命令的自定义PowerShell脚本。如果您正在寻找ETL自动化工具来跟踪来自源的数据，通过ETL处理直到它加载到目标，有相当多的可用选项，您将需要评估以确定哪一个适合您。看看dbt、RightData、QuerySurge、Datagaps ETL Validator、SSISTester、TestBench、DbFit或AnyDbTest。