仅使用master的Spark集群

Question

我有一个Spark 1.1.0集群，有三台不同功率的机器。当我运行start-all.sh脚本并检查UI时，我列出了所有从设备和主设备。列出了每个worker (它们具有不同的核心数量)，其中列出了正确的核心数量，但注意到使用的是零。

cores
4 (0 Used)
2 (0 Used)
8 (8 Used)

Ssh已经设置好并且可以工作了，hadoop看起来也不错。8核的机器是主机器，所以所有提交的作业都只在那里运行。我看到它在web UI中执行，但其他工作人员从未被分配工作。

Answer 1

这里可能发生的情况是，Total_Input_File_Size可能小于MAX_SPLIT_SIZE。因此，将只有一个映射器在运行，该映射器将仅在主服务器上执行。

生成的映射器数量为Total_Input_File_Size/MAX_SPLIT_SIZE。因此，如果给定的文件较小，请尝试提供较大的输入文件或降低max_split_size的值。

如果问题出在别的地方，请告诉我。

Answer 2

您是否在spark-submit命令中设置了--deploy-mode cluster？

如果清空此选项，应用程序将不会传送到其他员工。