从多个配置文件中触发加载设置

Question

Spark从$SPARK_HOME/conf/spark-defaults.conf读取默认配置。

在使用(例如) --properties-file [FILE]时，还可以使用spark-submit命令行参数更改默认位置。

我想要做的是从文件中加载附加参数，而不必替换默认参数。也就是说，我希望spark从spark-defaults.conf加载属性，并从另一个文件加载更多属性。现在，如果在这两个文件中都定义了属性，我希望最后一个配置文件获胜。

？默认支持这一点吗？

Answer 1

tl；No.

正如星火文档中所描述的，下面是配置的优先顺序：

“直接设置在SparkConf上的属性具有最高优先级，然后是传递给星火提交或火花外壳的标志，然后是火花-defaults.conf文件中的选项。”

在此情况下，我将在驱动程序代码中使用台风声加载自定义配置文件，并设置直接在SparkConf上找到的任何内容。任何设置在那里将优先于任何以前的配置从其他地方。