如何使用星火提交的属性-文件选项来启动IntelliJ IDEA中的火花应用？

Question

我正在使用Scala和IntelliJ IDE开发的Spark启动一个项目。

我想知道如何在-- properties-file配置中使用特定的Spark配置设置IntelliJ。

我正在读像"param1" -> sc.getConf.get("param1")这样的配置

当我从命令行执行火花作业时，效果就像一个魅力：/opt/spark/bin/spark-submit --class "com.class.main" --master local --properties-file properties.conf ./target/scala-2.11/main.jar arg1 arg2 arg3 arg4

问题是当我使用IntelliJ运行配置使用VM Options执行作业时

1. 我以--master param作为-Dspark.master=local而成功
2. 我成功地使用了--conf params作为-Dspark.param1=value1
3. I失败了和--properties-file

有人能给我指指点点吗？

Answer 1

I不认为可以使用--properties-file从IntelliJ IDEA内部启动Spark应用程序。

spark-submit是提交Spark应用程序以供执行的shell脚本，在为Spark应用程序创建适当的提交环境之前，它很少做额外的事情。

但是，您可以通过利用星火应用程序默认加载的--properties-file来模仿conf/spark-defaults.conf的行为。

您可以在conf/spark-defaults.conf (或src/main/resources)下创建一个内容为properties.conf的properties.conf。这应该是可行的。