Terratest如何触发和等待胶水作业

Question

我正在寻找terratest来测试aws代码。我的工作负载主要使用glue python或glue spark从一些s3访问数据，做一些工作，存储到s3。

我想写一个测试，测试我的角色是否正确地授予了对某个存储桶的写访问权限。为此，我创建了一个glue pythonshell作业，它将一个文件放入存储桶中，然后我将检查(从我的go代码)文件及其内容是否为预期的内容。

在尝试实现这一点时，Terraform部分很快就被编写出来了。我现在纠结于如何触发python作业以及如何等待它完成。

有什么好的方法可以做到这一点吗？

Answer 1

Glue具有triggers概念，可以帮助您根据需要启动它们。触发器按需触发，基于计划，或基于事件的组合。

此外，一旦作业启动，您可以使用CloudWatch事件监视它的状态。这篇article讲述了如何监控胶水爬虫run.The，同样可以应用于胶水作业的更改。