Google Cloud Datalab上的pyspark

Question

如何在google-cloud-datalab笔记本中导入pyspark？即使在节点上设置了PYTHONPATH，SPARK_HOME，它也不能工作？我错过了什么吗？

ImportErrorTraceback (most recent call last)  
  <ipython-input-4-c15ae3402d12> in <module>()
     ----> 1 import pyspark

ImportError: No module named pyspark

Answer 1

正如Fematich所说，不幸的是，它还没有得到支持。但是，Datalab is open source，如果你愿意，你可以修改Dockerfile文件来添加pyspark并构建你自己的镜像。如果你认为其他人也可能对此感兴趣，你也可以发送一个pull请求。

Answer 2

您可以通过初始化操作在Cloud Dataproc上方便地运行Datalab：

https://github.com/GoogleCloudPlatform/dataproc-initialization-actions/tree/master/datalab

这将允许您与pySpark环境进行交互。

或者，您可以编辑Dataproc Docker镜像以包含spark (使用pyspark)。这将允许您在任何地方(本地或虚拟机)使用spark运行Datalab。

Answer 3

Datalab目前还不支持(py)Spark (也可以查看他们的roadmap)。在Google Cloud平台上，目前最简单的选择是使用Jupyter笔记本部署DataProc集群，请参阅文档here。

请注意，Dataproc团队也在使用StackOverflow，因此他将能够为您提供有关路线图的更多信息。