如何在启动Spark History Server时指定Spark属性？

Question

有人知道如何在启动Spark History Server时在SparkConf中设置值吗？

Answer 1

如果使用的是<SPARK_HOME>/sbin/start-history-server.sh，则不能指定命令行参数，但可以将SPARK_HISTORY_OPTS指定为环境变量，并指定各种环境变量，如：-

export SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.ui.port=9000

但是如果您使用的是<SPARK_HOME>/sbin/start-daemon.sh脚本，那么您可以指定多个命令行选项。就像这样：

<SPARK_HOME>/sbin/spark-daemon.sh start org.apache.spark.deploy.history.HistoryServer -Dspark.history.ui.port=9000

Answer 2

start-history-server.sh接受--properties-file [propertiesFile]命令行选项，以使用propertiesFile指定自定义Spark属性。

如果未明确指定，Spark History Server将使用默认配置文件，即conf/spark-defaults.conf。