驱动核心必须是正数。

Question

我已经从3.1.1版升级到3.2.1版。现在，所有现有的火花作业都会出现以下错误。

Exception in thread "main" org.apache.spark.SparkException: Driver cores must be a positive number
at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:634)
at org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:257)
at org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:234)
at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:119)
at org.apache.spark.deploy.SparkSubmit$$anon$2$$anon$3.<init>(SparkSubmit.scala:1026)
at org.apache.spark.deploy.SparkSubmit$$anon$2.parseArguments(SparkSubmit.scala:1026)
at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:85)
at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:1043)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:1052)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我们正在使用星火在集群模式与apache和与cassandra共存。

我尝试了几个选择：

e.g. appl/spark/bin/spark-submit --name "Testjob" --deploy-mode cluster --master mesos://<master node>:7077 --executor-cores 4 --driver-memory 1G --driver-cores 1 -class ....  

对于解决这个问题，你有什么建议或解决办法吗？

非常感谢。干杯

Answer 1

不幸的是，由于这一特征和MesosClusterDispatcher的工作方式，我认为在集群模式下运行Spark3.2.x与Mesos是不可能的。基本上，调度程序将使用--驱动程序核心参数作为浮点数提交火花应用程序，然后火花(SparkSubmitArguments.scala)将其读取为字符串并按如下方式解析：

driverCores.toInt

当然，这是失败的。

为此，我提出了一个快速修复，但与此同时，我只是用我在PR中所做的更改构建了代码。我还将此报告为错误。