理解局部模式下的spark.default.parallelism

Question

嗨，只是为了了解spark.default.parallelism参数

鉴于这些文件：

https://spark.apache.org/docs/latest/configuration.html

我看到这个变量应该是我的机器的核心数目。所以我有四个核心：

nproc
4

但这一点：

 println("TEST---> " + sparkSession.sparkContext.defaultParallelism )

这个命令：

spark-submit \
  --class PartitioningTest \
  --master local \
  --driver-java-options "-Dlog4j.configuration=application.properties" \
  --driver-class-path $JARFILE \
  $JARFILE

印出

测试->1

就像医生说的，我本来想要4

谢谢

Answer 1