ToreeInstall错误?未知解释器PySpark。toree无法安装PySpark

Question

当我为木星笔记本安装PySpark时，我使用以下cmd：

jupyter toree install  --kernel_name=tanveer --interpreters=PySpark --python="/usr/lib/python3.6"

但是，我知道

[ToreeInstall] ERROR | Unknown interpreter PySpark. Skipping installation of PySpark interpreter

所以我不知道有什么问题。我已经成功地设置了Toree的Scala和SQL。认为

Answer 1

Toree版本0.3.0删除了对PySpark和SparkR的支持：

删除Toree中对PySpark和Spark的支持(使用特定的内核)

这里的发布说明：孵化器-toree发布说明

我不知道“使用特定内核”意味着什么，并继续寻找木星PySpark内核。

Answer 2

正如Lee的回答中所提到的，Toree版本0.3.0删除了对PySpark和SparkR的支持。根据他们的发布说明，他们要求“使用特定的内核”。对于PySpark，这意味着手动安装拟与木星一起使用的火花放电。

步骤简单如下：

1. 安装火花放电。通过pip install pyspark或通过下载Apache二进制包并将其解压缩到特定的文件夹。
2. 添加以下3个环境变量。如何做到这取决于您的操作系统。例如，在我的MacOS上，我在文件~/.bash_profile中添加了以下行 出口SPARK_HOME= PYSPARK_DRIVER_PYTHON="jupyter“出口PYSPARK_DRIVER_PYTHON_OPTS=”笔记本“

就这样。要启动PySpark朱庇特笔记本，只需从命令行中运行"pyspark“，然后选择”Python内核“。

请参阅

intelligence/9781788835367/1/ch01lvl1sec17/installing-jupyter

或

https://opensource.com/article/18/11/pyspark-jupyter-notebook

更详细的说明。