我需要在我的Spark集群的每个节点上安装Koalas，还是只在主节点上安装？

Question

我在Spark+AI峰会上发现了Koalas，它把熊猫带到了星火。

据我所知，如果我需要将第三方函数map到Spark DataFrame，我必须在我的Spark集群的每个节点上安装这个包。

考拉也是这样吗？或者我只需要在我的主节点上运行pip install koalas，让考拉和斯帕克来处理剩下的事情？

除了pip install koalas之外，我还没有在考拉的Docs中找到任何细节。

Answer 1

是的，您需要在集群的所有节点上安装koalas。通常，所有第三方库都需要安装在群集的所有节点上。