私人云/网格的建议？

Question

我想建立我自己的私有计算云，也就是所谓的网格。

我可以用一堆快速计算机进入IT教室，我想利用这种巨大的马力。(甚至只是在家里同时使用3台小型计算机来完成相同的任务。)

就像在所有CPU核上运行的虚拟机一样，这将是很棒的。这样我就有了一个运行在40 of，120 and有效频率和大量存储空间的虚拟操作系统。我知道网络会减慢所有的速度，但是如果这种“资源合并”由于网络速度慢而不值得(虽然每台机器上都是1GB/S)，就像BOINC那样，但是更小、更容易实现。为本地节点分配工作单元的东西。

我希望它是免费的，可能是开源的，并且运行在Windows和Linux节点上。

如果没有简单的方法，我可以实现我自己的协议专用于每一个计算(这可以是任何东西，从国际象棋AI，射线跟踪，从分形绘制到PI计算)我想做什么？还是用BOINC？

我已经看过桉树了，但我认为那将是一个很大的过度。BOINC不也是这样吗？

有人有什么好的软件推荐我用它来完成这个任务吗？

Answer 1

我将有一个运行在40 of，~120 and有效频率和大量存储空间的单一(虚拟)操作系统

没有自定义的硬件或软件就不存在。它不存在的原因是你的“快”1GbE链接是非常慢的，当你将它们与任何给定的PC内部的互连速度进行比较时。下面是几个例子：

• PCI - 2Gb/s
• AGPx8 -34/S
• PCIex8 -16/S
• PC2-5300 RAM -85 PC2/S
• CPU L1缓存~300 L1/S

现在，您可以做一些您单独提到的个别事情。例如，有一些分布式计算应用程序，如BOINC/SETI@Home，如果这些应用程序当然依赖于具有高度并行性的工作负载(可以单独处理并在以后合并)。还有一些分布式存储应用程序，如Bittorrent/Brancecache。

如果您想要处理某个特定的工作负载，以及编程流程，那么请看一下贝奥武夫聚类。

这里需要理解的一个非常重要的概念是，组件的距离如何影响它们之间较慢的数据传输。这是计算的基本原理，并解释了很多事情，包括你问题的答案。短版本-另外两个组件是来自彼此的，他们的最大通信速度较慢。考虑一下L1缓存与RAM相比有多快，然后再与硬盘驱动器进行比较。这是它与核心距离的一个直接函数。

Answer 2

这个问题非常广泛。一般来说，在多台计算机上运行一个通用操作系统是并行/分布式计算的圣杯，而且还没有以任何有意义的方式实现。如果您的问题域很容易并行化，那么您的问题有很多解决方案，包括Condor之类的批处理调度系统，以及欧几里德图、Hadoop和Beow尔夫等集群方法。如果它不容易并行，那么您有很多算法思想要做。所以，对于任何给定的问题空间，

• 你能把工作分成许多小部分吗？
• 单独的员工需要彼此沟通，还是只需要与调度员沟通？
• 单独的工作人员需要访问对方的内存空间吗？