火花事件日志目录

Question

我正在使用PySpark (独立的没有hadoop等)并在下面调用我的火花放电作业，它运行得很好：

PYSPARK_PYTHON=python3 JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64/jre" SPARK_HOME=~/.local/lib/python3.6/site-packages/pyspark spark-submit job.py --master local

历史服务器正在运行，但是我正在尝试配置火花历史服务器来读取正确的目录。我所配置的设置在/pyspark/conf/smack-env.sh中：

....
SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.eventLog.enabled=true -Dspark.eventLog.dir=/home/Documents/Junk/logs/ -Dspark.history.fs.logDirectory=/home/Documents/Junk/logs"
....

但是当我运行作业时，这个目录是空的(日志不写到这个目录)。

是否正确指定目录地址？(这些是我的文件系统中的本地地址)

Answer 1

要使它正常工作，请执行以下操作。不要使用星星之火-env.sh，而是用下面的内容编辑conf/smack-defaults.conf文件，注意文件://前缀。

spark.eventLog.enabled           true
spark.eventLog.dir             file:///home/user/.local/lib/python3.6/site-packages/pyspark/logs
spark.history.fs.logDirectory   file:///home/user/.local/lib/python3.6/site-packages/pyspark/logs