存储群集的最佳选择

Question

我正在开发一个需要大量存储空间的应用程序，并且我希望处理存储“内部”(比S3便宜得多)，因此我们将有多个服务器(最初4台)，具有大量的存储(每个6TB)。

存储将需要非常灵活和可配置，每一段数据应该至少在2台服务器上复制，并且必须易于从以太读取/写，这是UNIX设备/文件/文件夹的API，就像普通驱动器一样，我不介意哪一个。我们还必须能够轻松地将内容卸载到我们的HTTP (Edgecast)，它不需要内置HTTP支持，但是如果没有，我将不得不编写一些东西将文件放到HTTP上，这样CDN就可以将它们拉出来。

我看过很多解决方案，包括

• 桉树海象
• OpenStack对象存储
• MogileFS
• 还有一些我不记得的

所有服务器都将运行RHEL 6，它们有4x1.5TB驱动器，这些驱动器将RAID1 1‘d放到一个分区中。所有服务器之间都有1GB/s连接和100 to /S连接，具有无限的带宽。它们有2x2.66ghz处理器。

我知道没有一个完美的答案，但最好能得到一些指点。

Answer 1

我们经常被问到类似的问题，我很惊讶之前的问题都没有出现在你问这个的时候，

无论哪种方式，我通常推荐GlusterFS或Lustre，但还有许多其他分布式文件系统可供选择。

Answer 2

由于您已经是一个RH商店，红帽企业集群与存储管理类可能被证明是非常有用的。

Answer 3

如果您能够更多地分享有关存储工作负载的内容，那就太好了。取决于您是否需要低延迟或大内容存储可能导致不同的存储解决方案。对于内容存储选项，请查看对象存储解决方案。(即使是这些数据也可以进一步细分-如果您需要保留数据很长时间，并且不需要经常阅读，那么就考虑支持擦除编码的解决方案)。如果您需要较低的延迟，那么查看基于集群主机的存储文件系统--最好是与主机中的flash结合使用。注意，还可以结合主机中的闪存加速来查看对象存储。