火花壳适用于适当的纱线资源设置，但不适用于火花提交。

Question

纱线上的火花壳(客户端模式)使用$spark_HOME/conf/spark defaults.conf(创建5个执行器)中指定的纱线配置。

spark.master                            yarn
spark.driver.memory                     3g
spark.executor.cores                    1
spark.executor.memory                   3g
spark.executor.instances                5

但火花-提交的纱线(客户端模式)不(火花提交简单地创建到2个执行者)

Answer 1

因为您提交的作业不知道使用哪种配置，因此尝试显式地设置它，例如：

spark-submit --class "main.scala.Main" \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --num-executors 6 \
    --executor-cores 2 \
    --queue default \
    sparkcompanymerge.jar

或使用火花文档中指定的--conf标志。