PySpark，Win10 -系统找不到指定的路径

Question

我以前通过pip安装了PySpark包，最近我用一个干净的Python版本卸载了它，并下载了独立版本。

在我的用户变量中，我创建了一个名为: SPARK_HOME的路径

值为:C：\spark 2.3.2-bin-hadoop2.7\bin

在Path下的系统变量中，我输入了一个条目:C：\spark 2.3.2-bin-hadoop2.7\bin

当我运行火星雨

我也跑不了火花弹。有什么想法吗？

Answer 1

SPARK_HOME应该没有bin文件夹。因此，

将SPARK_HOME设置为C:\spark-2.3.2-bin-hadoop2.7\

Answer 2

窗口用户必须下载一个兼容的winutils exe版本，并将其保存在Spark的bin文件夹中。

找到兼容的Hadoop发行版，下载并保存在您的Spark文件夹中。

下载"https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe“并将其保存在”C：\spark 2.3.2-bin-hadoop2.7\bin“中。

在这个链接中可以找到不同的winutils版本。https://github.com/steveloughran/winutils