如何将带有依赖项的python脚本打包成zip/tar？

Question

我有一个hadoop集群，我正在使用Numpy、SciPy和Pandas对其进行数据分析。我希望能够使用命令的'--file‘参数以zip/tar文件的形式提交我的hadoop作业。这个压缩文件应该包含我的python程序需要执行的所有内容，这样无论我的脚本在集群中的哪个节点上执行，我都不会在运行时遇到ImportError。

由于公司的政策，在每个节点上安装这些库并不完全可行，特别是对于探索性/敏捷开发。不过，我确实安装了pip和virtualenv来根据需要创建沙箱。

我看过zipimport和python packaging，但它们似乎都不能满足我的需求/我在使用这些工具时遇到了困难。

有没有人有幸做到这一点？我似乎在网上找不到任何成功的故事。

谢谢!

Answer 1

我已经解决了Apache Spark和Python上下文中的类似问题，创建了一个需要安装python库和Spark从脚本的Docker镜像。镜像被分发到其他机器，当容器启动时，它自动加入到集群中，我们只有一个这样的镜像/主机。

我们不断变化的python项目以zip文件的形式与作业一起提交，并透明地从那里导入工作。幸运的是，我们很少需要重新创建这些从属映像，并且我们不会运行具有冲突要求的作业。

我不确定这在您的场景中是否适用，特别是因为(在我的理解中)一些python库必须编译。