没有启动历史记录-server.sh时，通过conda安装火花放电

Question

我已经通过conda install pyspark在Ubuntu上的一个迷你环境中安装了火花放电。到目前为止，一切都很好:我可以通过spark-submit运行作业，也可以在localhost:4040检查正在运行的作业。但是我找不到start-history-server.sh，我需要查看已经完成的工作。

它应该在{spark}/sbin中，其中{spark}是spark的安装目录。我不知道通过conda安装spark时应该在哪里，但是我已经搜索了整个miniconda目录，并且似乎找不到start-history-server.sh。无论它的价值如何，这都适用于python3.7和2.7环境。

我的问题是：start-history-server.sh是否包含在电火花的conda安装中？如果是，在哪里？如果没有，那么在事后评估火花工作的推荐方法是什么？

Answer 1

编辑:我已经提交了一个请求，请求将历史服务器脚本添加到pyspark中。拉请求已经合并，因此应该在Spark3.0中暂时显示。

正如@pedvaljim在一条评论中指出的那样，这并不是conda特有的，sbin目录根本就没有包含在pyspark中。

好消息是，只需手动下载这个文件夹来自github (即不确定如何下载一个目录，我刚刚克隆了所有的星火文件夹)就可以了。如果您使用的是迷你或anaconda，火花文件夹是例如miniconda3/envs/{name_of_environment}/lib/python3.7/site-packages/pyspark。