在第一个amazon-emr集群完成时启动另一个amazon-emr集群

Question

我有一个主emr集群在做一系列的步骤工作，我必须再添加8个步骤。

我面临的问题是，第一个EMR集群对于这8个步骤来说太强大了。

因此，我想知道是否有一种简单的方法可以在第一个集群完成时自动旋转另一个集群(它将从r4.8xlarge降级到r4.xlarge，8到10个实例)。

为此，我应该在第一个template.sh的末尾调用一个激活的CloudFormation template.sh吗？

无论硬件是什么，这些步骤都需要4小时，这就是为什么我的目标是降低集群的成本。

Answer 1

有几种方法可以做到这一点。

我会选择使用亚马逊DataPipeline或Step函数。您的第一个emr集群的任务是EMR活动1。您可以在管道中添加另一个步骤作为另一个EMR活动，以使用较小的emr集群添加后续步骤。