无法在gcloud dataproc星火集群上的pyspark中导入图形帧

Question

使用以下选项通过gcloud控制台创建了星星星火集群

gcloud dataproc集群创建集群名称？？us区域名称？？num?num-master 1-num-工2-主机器类型n1-工-工-机器类型n1-标准-1-元数据spark-packages=graphframes:graphframes:0.2.0-spark2.1-s_2.11。

在火花主节点上发射的火花源外壳如下：

包装图形框架:图形框架:0.2.0-SPARK2.0-S_2.11

..。

找到图形框架#图形框架；0.2.0-火花2.0-s_2.11在火花包中

成功的graphframes#graphframes;0.2.0-spark2.0-s_2.11!graphframes.jar (578)

..。

    graphframes#graphframes;0.2.0-spark2.0-s_2.11 from spark-packages in [default]
    org.scala-lang#scala-reflect;2.11.0 from central in [default]
    org.slf4j#slf4j-api;1.7.7 from central in [default]
    ---------------------------------------------------------------------
    |                  |            modules            ||   artifacts   |
    |       conf       | number| search|dwnlded|evicted|| number|dwnlded|
    ---------------------------------------------------------------------
    |      default     |   5   |   5   |   5   |   0   ||   5   |   5   |
    ---------------------------------------------------------------------

..。

使用PythonVersion2.7.9(默认情况下，2016年6月29日13:08:31) SparkSession可以作为“火花”使用。

>>> from graphframes import *

回溯(最近一次调用)：File ""，第1行，在ImportError中:没有名为graphframes的模块

如何在gcloud dataproc星体集群上加载图形帧？

Answer 1

这似乎是一个众所周知的问题，为了让它在pyspark：https://github.com/graphframes/graphframes/issues/238，https://github.com/graphframes/graphframes/issues/172中工作，你必须彻底解决这个问题。