在ec2上启动笔记本

Question

我刚刚从1.4升级到Spark2.0，并从github.com/amplab/smack-ec2/tree/分支- 2.0下载了ec2目录。

为了拆分一些集群，我转到我的ec2目录并运行以下命令：

./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name>

./spark-ec2 -k <keypair> -i <key-file> login <cluster-name>

我有我的集群和我登录到主人，但我不知道如何启动一个火星雨笔记本。使用Spark1.4，我将运行以下命令

IPYTHON_OPTS="notebook --ip=0.0.0.0" /root/spark/bin/pyspark --executor-memory 4G --driver-memory 4G &

我的笔记本可以正常运行，但是在Spark2.0中，没有bin/pyspark目录。有人能帮忙吗？

Answer 1

根据消息来源的评论：

https://apache.googlesource.com/spark/+/master/bin/pyspark

在Spark2.0中，如果在用户环境中设置了任何选项，则IPYTHON和IPYTHON_OPTS将被移除，并且pyspark无法启动。相反，用户应该将PYSPARK_DRIVER_PYTHON=ipython设置为使用IPython，并将PYSPARK_DRIVER_PYTHON_OPTS设置为在启动Python驱动程序时传递选项(例如，PYSPARK_ driver _PYTHON=‘记事本’)。这支持IPython和executor可执行文件的完全定制。

下面的链接将一步一步地指导您。在升级到Spark2.0的同时，您还应该升级到Juypter笔记本(以前是Ipython笔记本)。