为什么Spark2只在一个节点上运行？

Question

我在齐柏林飞艇上运行Spark2 (在HDP2.6中是0.7)，并且我正在做一个idf转换，它在很多小时后崩溃。它运行在一个集群上，有一个主节点和3个数据节点: s1、s2和s3。所有节点都有一个Spark2客户端，每个节点都有8个内核和16 RAM内存。

我只是注意到它只在一个节点上运行，s3，有5个执行器。

在zeppelin-env.sh中，我将zeppelin.executor.instances设置为32，将zeppelin.executor.mem设置为12g，并显示以下代码：

export MASTER=yarn-client

我已经将yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

我还在Spark2解释器中将spark.executor.instances设置为32。

任何人都有什么想法，我可以尝试让其他节点做他们的共享？

Answer 1

答案是因为我是个笨蛋。只有S3安装了数据节点和节点管理器。希望这能帮助到一些人。