星火2.2.0的SPARK_WORKER_INSTANCES

Question

在Spark2.2.0中，我没有看到在每个节点上启动多个工作人员的选项SPARK_WORKER_INSTANCES。我该怎么做？

Answer 1

如果您查看spark-env.sh文件夹的conf目录中的spark文件，您将看到一个选项SPARK_WORKER_INSTANCES=1。你可以把它改成你想要的号码。

因此，当火花用sbin/start-all.sh启动时，应该在该机器上启动定义的工作节点数。

Answer 2

根据星火文档

要用启动脚本启动一个Spark独立集群，您应该在Spark目录中创建一个名为conf/ scripts的文件，该文件必须包含所有要启动火花工作者的机器的主机名，每行一个。如果不存在conf/从服务器，则启动脚本默认为一台计算机(localhost)，这对于测试非常有用。