分布式存储与计算

Question

亲爱的服务器故障社区，

在研究了许多用于在生产环境中部署的分布式文件系统(主要目的是执行批处理和实时分布式计算)之后，我确定了以下可能的候选系统，主要是在成熟度、许可证和支持方面：

• 卡夫
• 光泽
• GlusterFS
• HDFS
• FhGFS
• MooseFS
• XtreemFS

我们的系统应该展示的关键特性是：

• 一个开放源码，许可的，但生产准备，例如成熟的，可靠的，社区和商业支持的解决方案；
• 能够在商品硬件上运行，最好是为其设计的；
• 提供数据的高可用性，并将重点放在读取；
• 高可伸缩性，因此在多个数据中心上运行，可能是在全球范围内；
• 使用(元)数据的复制和分布消除单个故障点，例如提供容错性。

查明并导致下列问题的敏感点是：

1. 处理层/应用程序在数据局部性方面的透明度，例如知道数据物理位置在服务器级别，主要用于资源分配和快速处理，高性能，如何实现？您从经验中知道是什么解决方案提供了这种透明度，在多大程度上？
2. 在上面列出的大多数解决方案的wiki页面上都提到了posix遵从性或一致性。这里的问题主要是，对posix标准的支持有多重要？以Hadoop为例，posix在设计上不兼容，pro和con的兼容是什么？
3. 那么，分布式文件系统的同步和异步操作之间的区别呢？虽然同步分布式文件系统由于其可靠性而具有一定的优势，但它在可扩展性方面也有一定的局限性。从你的专业知识来看，这件事的出路是什么？

我期待着你的答复。谢谢！)

向您致以亲切的问候，

蒂姆·范埃尔特伦

Answer 1

你需要多快才能阅读？全局可伸缩性又有多重要？

就在我头上，光泽可以是快速的，但这是它的唯一特点，从你的名单。

我知道有两件事能满足你的要求。

Xrootd -非常多的只读，全局HA，广泛应用于科学界。

http://xrootd.slac.stanford.edu/

OpenAFS --已经存在很长时间了，并广泛应用于高等教育。

http://www.openafs.org/

这两种系统的读取速度都不像经过适当调整的光泽系统那样快，但两者都可以扩展到全球范围的部署。我对您列表中其他软件的了解是，它更适合在单个数据中心中访问。