ETLs的双因素监测

Question

这个名称类似于2FA安全模式，它来自一个场景，在这个场景中，我希望定期确保某些ETL触发器已经到位。

我不仅希望监视某些过程是否工作/失败的警报，我已经实现了。但是，还有第二个基础设施检查触发器是否就位。这样，如果我没有得到一个错误，我可以确保一切正常。

想象一下，您的ETL计划每个月运行。您的项目需求是每个月运行此ETL。你把它设置为每个月运行，每件事都会持续一段时间。但四分之一之后，有人做了一些配置更改，ETL不再被触发。显然它不会抛出任何新的错误。我需要一个外部环境的工具来监控这些需求。

是否有像上面描述的工具/方法/技术？

Answer 1

我建议使用云监测，它为您提供了云驱动应用程序的性能、正常运行时间和整体健康状况的可见性。如果您计划使用Dataflow，它包括一个基于web的监控界面.监视接口允许您查看数据流作业并与其进行交互，允许您创建警报和仪表板并确定管道中的失效原因。