如何排除“火花放电”是不认识的.Windows上的错误？

Question

在这两周的时间里，我一直在我的Windows 10机器上安装火花(火种)，现在我意识到我需要你的帮助。

当我试图在命令提示符中启动“pyspark”时，仍然会收到以下错误：

问题

“‘pyspark”不被识别为内部或外部命令、可操作的程序或批处理文件。

对我来说，这暗示了路径/环境变量的问题，但我找不到问题的根源。

我的行动

我尝试过多种教程，但我发现最好的是迈克尔·加拉尼克的教程。我一步一步地学习他的教程：

• 已安装的Java
• 安装Anaconda
• 下载Spark2.3.1(我相应地更改了命令，因为Michael的教程使用了不同的版本)。我在cmd提示符中按照教程的要求移动了它： mv C:\Users\patri\Downloads\spark-2.3.1-bin-hadoop2.7.tgz C：\opt\spark\spark 2.3.1-bin-hadoop2.7.tgz 然后我解开了它： gzip -d火花-2.3.1-bin-hadoop2.7.tgz 和 焦油xvf火花-2.3.1-bin-hadoop2.7焦油
• 从Github下载Hadoop2.7.1： 卷曲-k -L -o winutils.exe https://github.com/steveloughran/winutils/raw/master/hadoop-2.7.1/bin/winutils.exe?raw=true
• 相应地设置我的环境变量： setx SPARK_HOME C：\opt\spark\spark 2.3.1-bin-hadoop2.7 setx HADOOP_HOME C：\opt\spark\spark 2.3.1-bin-hadoop2.7 setx PYSPARK_DRIVER_PYTHON jupyter setx PYSPARK_DRIVER_PYTHON_OPTS笔记本 然后在我的路径变量中添加C：\opt\spark\spark 2.3.1-bin-hadoop2.7\bin。我的环境用户变量现在看起来如下：当前环境变量

这些操作应该已经完成了任务，但是当我运行pyspark --master local[2]时，仍然会从上面得到错误。您能使用上面提供的信息来帮助跟踪此错误吗？

检查

我在命令提示符中运行了几个检查，以验证以下内容：

• 安装了Java
• Anaconda已安装
• pip已安装
• 安装了Python

Answer 1

我通过将变量设置为“系统变量”而不是“用户变量”来解决这个问题。备注

1. 在我的例子中，命令行中的设置变量导致了“用户变量”，因此我不得不使用高级设置GUI作为“系统变量”输入值。
2. 您可能希望排除任何安装问题，在这种情况下，尝试将cd转换到C中：\opt\spark 2.3.1-bin-hadoop2.7\bin并运行pyspark master local[2] (确保winutils.exe在那里)；如果这不起作用，那么除了env变量之外还有其他问题

Answer 2

按照我博客中解释的步骤来解决你的问题-

如何在Windows https://beasparky.blogspot.com/2020/05/how-to-setup-pyspark-in-windows.html上安装PySpark

为Spark.设置环境路径

Go to "Advanced System Settings" and set below paths
JAVA_HOME="C:\Program Files\Java\jdk1.8.0_181"
HADOOP_HOME="C:\spark-2.4.0-bin-hadoop2.7"
SPARK_HOME="C:\spark-2.4.0-bin-hadoop2.7"
Also, add their bin path into the PATH system variable