在aws胶中完成多个相关作业后运行作业

Question

我有多个Glue作业J1，J2，J3，它们是通过AWS触发的，Lambda是通过S3桶上的文件触发的。

顺序如下：

S3(Bucket B1)-添加的文件-> L1(Lambda触发的)->J1(Glue Jobs)-->插入数据T1表( RedSfhift) S3(Bucket B2)-添加的文件-> L2(Lambda触发的)->J2(Glue Jobs)-->插入数据T2表( RedSfhift) S3(Bucket B3)-添加的文件-> L3(Lambda触发的)->J3(Glue Jobs)-->插入数据T3表( RedSfhift)

现在，在完成所有这三个作业之后，我想触发一个单独的Glue作业(JFinal)，它将处理来自T1、T2和T3的数据，然后进行一些计算，然后插入TFinal表中。

现在我们如何触发作业JFinal。J1、J2、J3作业是独立的，执行顺序可能不同。

Answer 1

AWS步骤函数在这里是一个很好的解决方案。您必须配置您的步进机器，使您的3个作业可以独立运行，但JFinal将等待直到所有其他作业完成。参考：Step函数启动