寻找在AWS上可视化数据湖管道的更好方法

Question

我正在亚马逊网络服务上构建一个数据湖管道，其中包括许多亚马逊网络服务，如s3，cloudwatch，lambda，glue crawler，glue job等。管道流的工作原理如下：

- cloudwatch schedule a cron job to trigger a lambda to fetch external data and save them in s3 bucket. 
- a lambda will be triggered whenever a file is uploaded to the s3 bucket who trigger a glue crawler
- cloudwatch listen on glue crawler state change and trigger a lambda which calls a glue job to do data ETL

它工作得很好，但我觉得很难监控整个过程。我唯一能得到的就是保存在cloudwatch中的日志和一些通知/警报。有没有更好的方法来监控这个管道？就像在工作流图中查看它一样，可以看到每次执行的时间。

Answer 1

你可以试试AWS X-Ray。AWS X-Ray可帮助开发人员分析和调试生产、分布式应用程序，例如使用微服务架构构建的应用程序。当用户请求遍历整个应用程序时，它会跟踪用户请求。它聚合了组成应用程序的各个服务和资源生成的数据，为您提供了应用程序执行情况的端到端视图。点击此处查看更多详细信息here。