在Google Colab中使用图形框架

Question

如何在Google colab上安装图形框架？

我尝试了!pip install graphframes，但在调用g = GraphFrame(v,e)时收到错误An error occurred while calling o503.loadClass.: java.lang.ClassNotFoundException: org.graphframes.GraphFramePythonAPI。我使用的是Spark2.4。

我也尝试过! pyspark --packages graphframes:graphframes:0.8.0-spark2.4-s_2.11

所有其他来源似乎都不能在Colab平台上工作。

Answer 1

我也有同样的问题。你只需要上传

 graphframes-0.8.0-spark2.4-s_2.11.jar

至

/usr/local/lib/python3.6/dist-packages/pyspark/jars

在你的谷歌Colab上，在你安装了graphframe.You之后，每次你启动Colab时都必须这样做。

你可以像这样从你的笔记本上下载文件：

!curl -L -o "/usr/local/lib/python3.6/dist-packages/pyspark/jars/graphframes-0.8.0-spark2.4-s_2.11.jar" http://dl.bintray.com/spark-packages/maven/graphframes/graphframes/0.8.0-spark2.4-s_2.11/graphframes-0.8.0-spark2.4-s_2.11.jar

Answer 2

也有同样的问题。通过这个命令解决了这个问题：

spark = SparkSession.builder.master("local[*]").config("spark.jars.packages", "graphframes:graphframes:0.7.0-spark2.4-s_2.11").getOrCreate()