当最初设置一个新的EMR集群,并将步骤添加到集群中时,它们附加到页面的顺序是自顶向下的,这意味着顶部条目首先运行,底部条目运行到最后。
当您在运行的EMR集群中观察这些步骤的进度时,它们会自下而上地运行,这意味着底部先运行,顶部运行最后。
当我导出用于集群设置的CLI命令,并通过DataPipeline运行该命令时,它包含--steps标志,其中包含一个步骤数组,第一个运行步骤是数组中的最后一个项。
不用说,这对我来说是非常令人困惑的,我实际上是如何强制执行我正在做的ETL工作的特定步骤的顺序。
是否有方法显式地指定这些步骤的顺序?
发布于 2016-10-17 14:03:54
它们确实按照您通过API指定它们的顺序运行,但出于某种原因,web控制台在显示它们时有奇怪的排序。
https://stackoverflow.com/questions/40061212
复制相似问题