我是否可以像在本地群集上一样在EMR上运行作业

Question

我已经在我的笔记本电脑上构建了一个本地集群(伪模式)。在那里我运行不同的mapreduce命令，比如

hadoop-streaming -D mapred.output.compress=true \
   -D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec \
   -files my_mapper.py,my_reducer.py \
  -mapper my_mapper.py  \
  -reducer my_reducer.py \
  -input /aws/input/input_warc.txt \
  -output /aws/output

现在我必须在电子病历上运行它。有两个选项可以使用，一个是控制台，第二个是aws cli。我想像上面那样精确地运行命令。为此，我认为如果我ssh到EMR master，那么我应该能够运行这个命令。这是一种正确的方法，还是这种方法有任何缺点？

Answer 1

是的，您可以通过SSH连接到集群并在其中运行作业，但您也可以使用Step API (http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-steps.html)在主实例上运行任意命令，当然包括运行像您的示例一样的分布式作业。您可以使用AWS CLI向集群添加步骤("aws emr add-step ...“或者也可以在创建集群时使用"aws emr create-cluster ... --steps...“)或者类似地使用AWS SDK(如AWS Java SDK)或使用AWS EMR控制台。

步骤API的一些优势包括捕获每个步骤的输出，以便您可以通过AWS CLI、SDK或AWS控制台查看输出，您还可以检查步骤的状态以确定它们何时完成。

Step API的一个缺点是，目前所有步骤都是按顺序运行的，因此不能并行运行多个步骤。