设置spark vm选项

Question

我正在尝试构建一个使用zookeeper和kafka的spark应用程序。Maven用于构建。我正在尝试构建的项目是here。在执行时：

mvn clean package exec:java -Dexec.mainClass="com.iot.video.app.spark.processor.VideoStreamProcessor"

它显示了

ERROR SparkContext:91 - Error initializing SparkContext.
java.lang.IllegalArgumentException: System memory 253427712 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.

我尝试将spark.driver.memory 4g添加到spark-defaults.conf中，但仍然收到错误。我怎么才能修复它？

Answer 1

您可以通过使用专用的spark-submit参数向您的工作人员发送额外的JVM选项：

spark-submit --conf 'spark.executor.memory=1g'\
      --conf 'spark.executor.extraJavaOptions=-Xms1024m -Xmx4096m'

类似地，您可以为您的驱动程序设置选项(如果您的应用程序以集群模式提交，或者通过spark-submit启动，则非常有用)：

--conf 'spark.driver.extraJavaOptions=-Xms512m -Xmx2048m'