将受cpu限制的压缩作业分发到多台计算机？

Question

前几天，我需要在我们的网络上归档大量数据，我很沮丧，因为我没有立即利用多台机器的能力来加速这一过程的方法。

我知道创建分布式作业管理系统是从命令行归档工具的一次飞跃。

我现在想知道这种类型的分布式性能场景的最简单的解决方案是什么。是否总是需要自定义工具，或者是否有方法使用标准实用程序并以某种方式在更高级别上透明地分配它们的负载？

谢谢你的建议。

Answer 1

解决这个问题的一种方法可能是使用分布式make系统在网络硬件上运行脚本。这是(或者曾经是) GNU Make的一个实验特性(一些实现)。Solaris为同样的目的实现了一个dmake实用程序。

另一种更重要的方法可能是使用Condor来分发归档作业。但我认为你不会仅仅为了一年两次的归档运行而安装Condor，它更像是一个从网络硬件中定期收集空闲周期的系统。

SCons构建系统实际上是基于Python的替代系统，它可能会被说服在整个网络中传递工作。

然后，您可以使用ssh脚本在联网的PC上启动作业。

因此，有几种方法可以让您不必进行并行编程，并从中获得乐趣。