安装PySpark

Question

我正在尝试安装PySpark，并遵循instructions，并从安装了Spark的群集节点上的命令行运行此命令：

$ sbt/sbt assembly

这会产生以下错误：

-bash: sbt/sbt: No such file or directory

我尝试下一条命令：

$ ./bin/pyspark

我得到了这个错误：

-bash: ./bin/pyspark: No such file or directory

我觉得我错过了一些基本的东西。遗漏了什么？我已经安装了spark，并且可以使用以下命令访问它：

$ spark-shell

我在节点上安装了python，可以使用以下命令打开python：

$ python

Answer 1

您当前的工作目录是什么？sbt/sbt和./bin/pyspark命令是相对于包含Spark代码的目录($SPARK_HOME)的，所以当运行这些命令时，您应该在该目录中。

请注意，Spark提供了与许多常见Hadoop发行版兼容的pre-built binary distributions；如果您正在使用这些发行版之一，这可能是一个更容易的选择。

此外，看起来您链接到了Spark 0.9.0文档；如果您正在从头开始构建Spark，我建议您遵循latest version of the documentation。

Answer 2

SBT用于构建Scala项目。如果您是Scala/SBT/Spark的新手，那么您正在以一种困难的方式来做事情。

“安装”Spark最简单的方法就是下载Spark (我推荐Spark 1.6.1 --个人偏好)。然后将文件解压缩到您想要“安装”Spark的目录中，比如C:/spark-folder (Windows)或/home/usr/local/spark-folder (Ubuntu)。

将其安装到所需目录后，需要设置环境变量。这取决于您的操作系统；但是，这一步不是运行Spark所必需的(即pyspark)。

如果您没有设置环境变量，或者不知道如何设置，另一种方法是在终端窗口中进入您的目录，cd C:/spark-folder (Windows)或cd /home/usr/local/spark-folder (Ubuntu)，然后输入

./bin/pyspark

斯帕克应该跑起来。