Packaging
当我们提交一个分布式作业(job)到集群上去执行,我们得把要执行的程序(包括一个可执行文件以及相关的文件,比如 *.so, *.py )传送到调度系统分配给这个 job 的一些机器(...], deps=["B", "C"], ...)
python_library(name="B", srcs=["B.py"], deps=["D"], ...)
python_library(name...XAR
ZIP 或者 tarball 文件拷贝到集群节点上之后,需要解压缩到本地文件系统的某个地方,比如 /var/packages/A-953bc/{A,B,C}.py,{D,E,F}.so。...感兴趣的朋友们可以参考这个教程,创建一个空文件,把它格式化成 squashfs,然后 mount 到本地文件系统的某个目录(mount point)里。...待到我们 umount 的时候,曾经加入到 mount point 里的文件,就留在这个“空文件”里了。我们可以把它拷贝分发给其他人,大家都可以 mount 之,看到我们加入其中的文件。