如何利用EMR使从节点为星团簇工作？

Question

我试图使用EMR在我的星火集群上运行一个作业。集群有一个主节点和两个从节点，每个节点(主节点或从节点)有32个核心。作业通过控制台使用"Add Step“，配置设置如下：

sparkConf.setMaster("local24").set("spark.executor.memory"，"40g") .set("spark.driver.memory"，"40g")；

然后我注意到这两个奴隶没有工作(CPU使用率接近0)，只有主人在努力工作。我该如何解决这个问题，让奴隶们发挥作用？

谢谢!

Answer 1

当您指定一个“本地”母版时，这意味着主程序是本地的-它不是分布在节点上的。

您应该遵循doc：http://spark.apache.org/docs/1.2.0/spark-standalone.html

Answer 2

我最近才开始在EMR上使用Spark，但我发现这些例子对于启动/配置集群和提交Spark作业非常有帮助。