Apache :设置executor实例

Question

我在纱线上运行我的星火应用程序，参数如下：

在火花违约情况下：

spark.master yarn-client
spark.driver.cores 1
spark.driver.memory 1g
spark.executor.instances 6
spark.executor.memory 1g

成纱-site.xml：

yarn.nodemanager.resource.memory-mb 10240

所有其他参数都设置为默认参数。

我有一个6节点的集群，每个节点上都安装了Spark客户端组件。每次我运行应用程序时，在Spark中只有两个执行器和一个驱动程序可见。执行器出现在不同的节点上。

为什么火花不能创造更多的执行者？为什么只有2而不是6？

我发现了一个非常类似的问题：Apache Spark: setting executor instances does not change the executors，但是增加memoty参数对我的情况没有帮助。

Answer 1

乍一看，配置看起来还不错。

确保您已经覆盖了正确的星火-defaults.conf文件.

为当前用户执行echo $SPARK_HOME，并验证修改后的火花默认值文件是否位于$SPARK_HOME/conf/目录中。否则，星火无法看到您的更改。

我修改了错误的火花-defaults.conf文件。我的系统中有两个用户，每个用户都有一个不同的$SPARK_HOME目录集(我以前不知道)。这就是为什么我不能看到我的设置对其中一个用户的任何影响。

您可以运行您的火花壳或火花提交与参数--num-executors 6 (如果你想有6个执行者)。如果Spark比以前创建更多的执行器，您将确信这不是内存问题，而是具有不可读配置的东西。