我在本地集群模式下测试spark程序:我已经将我的spark.home属性设置为$SPARK_HOME (指向spark安装目录)。我已经启动了spark历史服务器,spark.history.fs.logDirectory指向文件:/tmp/spark-events。但是,当我成功执行测试并退出时。历史服务器没有显示任何内容,/tmp/spark-events文件夹是空的。如何让spark历史服务器识别我在本地集群模式下运行的spark程序?
发布于 2016-09-28 22:07:12
使用spark.eventLog.enabled Spark属性启用Spark测试中的事件收集,然后重新开始。
https://stackoverflow.com/questions/33202853
复制相似问题