在spark-submit命令中设置default.parallelism

Question

在执行spark-submit作业时，更改默认并行度的语法是什么？

在提交spark作业时，我可以通过以下命令指定executor、executor内核和executor内存的数量：

spark-submit --num-executors 9 --executor-cores 5 --executor-memory 48g

在conf文件中指定并行度为：

spark.conf.set("spark.default.parallelism",90)

如果我在spark-submit命令中更改它，它会是?：

spark-submit --default.parallelism 90

Answer 1

根据Launching Application with spark-submit上的Spark文档，spark-submit命令具有以下语法：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

在您的案例中，如果您想要更改前面提到的配置，则需要添加以下内容。

spark-submit [...] --conf spark.default.parallelism=90