无法启动星火历史服务器

Question

我正在用星星之火在纱线上运行。我试图启动历史服务器

./start-history-server.sh

但是得到了以下错误。

starting org.apache.spark.deploy.history.HistoryServer, logging to /home/abc/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-abc-org.apache.spark.deploy.history.HistoryServer-1-abc-Efg.out
failed to launch org.apache.spark.deploy.history.HistoryServer:
at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:47)
... 6 more
full log in /home/abc/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-abc-org.apache.spark.deploy.history.HistoryServer-1-abc-Efg.out

我已经将spark.eventLog.enabled = true和spark.history.fs.logDirectory和spark.eventLog.dir设置为hdfs日志目录。

为什么我不能启动历史服务器？

更新1:

谢谢stf告诉我查看日志文件；我不知道它的存在！

我意识到我的问题就在我在火花-env.sh中的设置中。

 export SPARK_HISTORY_OPTS="-Dspark.eventLog.enabled=true -Dspark.eventLog.dir=hdfs:///localhost/eventLogging spark.history.fs.logDirectory=hdfs:///localhost/eventLogging"

正斜线变成圆点。

 Error: Could not find or load main class spark.history.fs.logDirectory=hdfs:...localhost.eventLogging

知道如何防止这种情况发生吗？

更新2:由于stf的帮助，解决了这个问题。正确设置火花-env.sh是

 SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.eventLog.enabled=true -Dspark.eventLog.dir=hdfs://localhost/eventLogging -Dspark.history.fs.logDirectory=hdfs://localhost/eventLogging"

Answer 1

对于那些仍然收到这个错误并且没有得到评论讨论的帮助的人。以下内容为我解决了这个问题。确保在spark/conf/spark-defaults.conf中有以下内容

spark.eventLog.enabled          true
spark.eventLog.dir              /path/to/spark/logs
spark.history.fs.logDirectory   /path/to/spark/logs

然后运行spark/sbin/start-history-server.sh /path/to/spark/logs