Apache-spark -在windows上启动pyspark时出错

Question

我正试着在windows上运行pyspark。但是，我收到以下错误：

c:\spark>pyspark
Python 3.6.0 |Anaconda 4.3.1 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC 
v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
Traceback (most recent call last):
File "C:\spark\bin\..\python\pyspark\shell.py", line 38, in <module>
   SparkContext._ensure_initialized()
File "C:\spark\python\pyspark\context.py", line 259, in _ensure_initialized
   SparkContext._gateway = gateway or launch_gateway(conf)
File "C:\spark\python\pyspark\java_gateway.py", line 80, in launch_gateway
   proc = Popen(command, stdin=PIPE, env=env)
File "C:\Users\shuzhe\Anaconda3\lib\subprocess.py", line 707, in __init__
   restore_signals, start_new_session)
File "C:\Users\shuzhe\Anaconda3\lib\subprocess.py", line 990, in _execute_child
startupinfo)
PermissionError: [WinError 5] Access is denied

我已经找了好几个小时了，但还是找不到解决这个问题的办法。任何帮助都是非常感谢的！

谢谢!

Answer 1

嗨，我遇到了同样的问题。我放弃了之前使用cygwin tar创建的SPARK_HOME文件夹(在我的例子中是C:\spark-2.4.3-bin-hadoop2.7)，并再次尝试(从spark-2.4.3-bin-hadoop2.7.tgz)解压缩该文件夹，但这次使用7zip而不是cygwin tar，然后问题就消失了。注意，使用7zip解包分两步完成，首先从...tgz提取...tar，然后从...tar提取整个目录树

互联网上的一些其他讨论(例如here)表明，问题是由于cygwin tar获得了一些错误的许可。这一解释与我在上面测试和体验的内容是一致的。

Answer 2

如果你使用的是spark 2.1，你必须切换到spark 2.1.1。python 3.6有一个bug，现在2.1.1中解决了这个问题。

https://issues.apache.org/jira/browse/SPARK-19019\

我在windows上使用python 3.6和3.5以及spark 2.1也遇到了同样的问题，于是我切换到了anaconda python 2.7，现在它工作得很好。