高吞吐量的分布式并行容错文件系统

Question

我正在寻找DFS (分布式文件系统)，它是容错的，易于维护。我将有吨(100M+)的小文件(从1K到500 K)。文件将位于某些目录中，这将构建数据的逻辑结构。

我的平均阅读负荷为100 of /S，而写负载为100 of/S。

我想要一些输入，关于哪个文件系统最适合于给定的需求。

有什么想法吗？

Answer 1

卡夫是一个非常有趣的特性，具有一些简洁的特性。其中一个特别酷的地方是，复制函数(它决定OSD数据的流向)是非常灵活的，可以根据您的可靠性需要进行调优。

一般的想法是有三种类型的守护进程：

• OSD，它存储对象(基本上是原始的字节流)
• 提供文件系统语义的元数据服务器
  • MDSs还可以实现自适应负载平衡--如果一些元数据被大量访问，它将扩展到更多的MDSs来共享负载。

• 监视器，用于维护群集状态和配置。

客户机已经在Linux内核中上游运行了一段时间，服务器部分完全在用户空间中运行。

就性能而言，最初的PhD论文指出，在24个OSD时，瓶颈是网络交换机的吞吐量，性能与节点数成线性关系。(请参阅ceph网站上的出版物部分)。那是五年前的事了，从那时起就进行了大量的调整。

关于可靠性问题，该项目是由Dreamhost的创始人发起的，目前正在他们的基础设施中推广。

Answer 2

GlusterFS，光泽等.有关列表，请参见http://en.wikipedia.org/wiki/List_的_文件_系统。

也取决于你想做什么。企业中的工作站能访问它吗？上网？