conda在Windows 10上安装PySpark后的问题

Question

大约一年前，我在一次Udemy课程中安装了PySpark(ver1.1)，我认为是在我的Windows10笔记本电脑上安装的，它与朱庇特笔记本一起使用。一年后，我不得不重新安装Anaconda 3等，除了运行火花命令之外，一切看起来都很好。我使用以下命令安装了Pyspark：conda install -c conda-forge pyspark。现在，我尝试使用我所有的Udemy脚本，并得到以下内容：

Exception  Traceback (most recent call last) <ipython-input-5-03dc2d316f89> in <module>()1 sc = SparkSession.builder.appName('Basics').getOrCreate()

~\Anaconda3\lib\site-packages\pyspark\sql\session.py in getOrCreate(self)

167                     for key, value in self._options.items():
168                         sparkConf.set(key, value)
169                     sc = SparkContext.getOrCreate(sparkConf)
170                     # This SparkContext may be an existing one.
171                     for key, value in self._options.items():

我安装了最新的PySpark Ver2.2.0，我基本上也是这样问这个问题的，有很多令人困惑的回答。正如我所指出的，一年前我在这个Win 10盒上运行了一个旧版本的PySpark。

有什么想法或暗示吗？

Answer 1

来自PyPi或Anaconda (即与pip或conda一起安装)的不包含完整的功能；它只用于已经存在的集群中的火花安装，在这种情况下，您可能想要避免在本地下载整个星火发行版。来自PyPi文档 (这个信息也应该在Anaconda云中，但不幸的是它不是)：

用于Spark的Python打包并不打算替换所有其他用例。这个Python打包版本的Spark适合于与现有集群(无论是Spark独立、Spark还是Mesos)进行交互，但不包含设置您自己的独立Spark集群所需的工具。您可以从Apache火花下载页面下载Spark的完整版本。

因此，您应该做的是从上面的链接下载完整的星火发行版( Pyspark是其中的一个组成部分)。当然，这正是您在过去所做的，因为pip/conda选项是最近才在Spark2.1中使用的。