如何在火花堆上启动图形框架？

Question

一整天都在玩玩偶游戏，没有问题。只要简单地使用码头映像juypter/pyspark-notebook，我需要的90%的东西都是打包的(YAY!)

我想开始探索使用GraphFrames，它位于位于星火之上的GraphX之上。有人用过这个密码吗？

从本质上说，根据文档，我只需要传递"--packages :xxyyzz“，就可以下载和运行图形框架。问题是，当容器出现时，juypter已经在运行。

我尝试过将"--packages“行作为一个环境变量(-e)在运行JUYPTER_SPARK_OPTS和SPARK_OPTS时传递给它，但这是行不通的。我发现我可以在终端上完成pip install graphframes，这使我成为了java.lang.ClassNotFoundException的一部分--安装了python库，但是java库不是"java.lang.ClassNotFoundException: org.graphframes.GraphFramePythonAPI“。

图像细节文档似乎没有提供任何关于如何将星火包部署到映像中的洞察力。

有什么地方可以抛出图形帧.jar吗？是否有安装火花封装后码头的命令？是否有一个神奇的论点，docker run将安装这个？

我敢打赌这有一个很简单的答案--或者我在这里是高棉价的吗？

参考文献：

• 没有名为图形帧、木星笔记本的模块
• 我如何使用jupyter笔记本运行火种？

Answer 1

所以答案很简单：

在要点在这里中，我们只需告诉juypter将--packages行添加到SPARK_SUBMIT中，并将类似的内容添加到笔记本的顶部。星星之火在获取上下文时会运行并安装该包：

import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages graphframes:graphframes:0.8.1-spark3.0-s_2.12 pyspark-shell'

密切关注图形框架包上可用的版本，这意味着Scala2.12上Spark3.0上的图形帧为0.8.1。