如何在spark.history.fs.cleaner中启用Spark2？

Question

我已经为我的Spark2和星火配置提供了Spark2。它用于保持/火花-历史/清洁，但没有为/火花2-历史做任何事情。对为什么不起作用有什么想法吗？

Answer 1

spark.history.fs.cleaner.enabled火花属性控制定期清除磁盘上事件日志的任务。

在您的问题中，这是spark.history.fs.cleaner=enabled，所以我认为问题在于=字符。

另一个spark.history.fs.cleaner.interval Spark属性(带有1d默认值)控制清洁器检查要删除的事件日志的频率。一定要经常这样做。