请求集群计算框架以获得高性能

Question

我想构建一个集群来获得高性能，并在志愿者计算的情况下使用。我正在寻找一些志愿者计算平台，比如BOINC L，Beowulf集群。我对Apache Hadoop和Spark集群比较熟悉。其中一些集群平台将不得不使用MPI和其他并行处理库。然而，我没有任何并行编程的经验。此外，我不能为集群编写并行程序，因为我想在我的集群上进行网络模拟、图像处理、编程测试等。因此，我正在寻找一个集群框架，它可以运行分布在节点上的任何应用程序。我发现openMosix集群框架将适合我的需求，但我发现它停止了集群开发。因此，我想向前辈们请教一些建议，指导我在执行任何应用程序的情况下，哪种集群框架适合提高处理能力。非常感谢。

Answer 1

(披露:我是BOINC开发人员之一，我还管理着几个BOINC项目)

只要您的应用程序是可并行化的(例如，您可以拆分数据集或修改应用程序的命令行参数来拆分搜索空间)，就可以使用多个简单的选项。如果您的节点运行Linux，并且您可以通过SSH进入它们，那么像GNU Parallel这样的简单工具可能是合适的。

一般来说，BOINC更多地是为志愿者计算、聚合异构资源而量身定做的。它有一点学习曲线，并且非常关注安全性(例如，在平台上运行的所有代码都必须进行签名，从而使“任何”应用程序的部署复杂化)。如果你正在看一个真正的集群风格的使用，你将运行几十个不同的应用程序，BOINC可能不适合你(请注意，有一些方法可以将应用程序二进制文件作为工作的一部分提交，但这不是微不足道的)。

如果你确实决定尝试BOINC，有一个有点旧的Virtual machine with BOINC server preinstalled，或者仅仅是get a latest release of the code from Github。