分布式文件系统: GridFS与GlusterFS对Ceph基准测试

Question

我目前正在寻找一个好的分布式文件系统。

它应：

• 是开源的
• 水平可伸缩(复制和切分)
• 没有单一的故障点
• 足迹相对较小

以下是我认为最有前途的四位候选人：

• GridFS (基于MongoDB)
• GlusterFS
• 卡夫
• HekaFS

文件系统将主要用于媒体文件(图像和音频)。有非常小的和中等大小的文件(1KB- 10 MB)。文件的数量应该在几百万左右。

是否有关于performance，CPU负载、memory-consumption和scalability？的基准测试？您使用这些或其他分布式文件系统的经验是什么？

Answer 1

我不确定你的名单是否正确。这取决于文件系统的含义。

如果您指的是可在操作系统中挂载的文件系统，并且可供任何使用POSIX调用读取和写入文件的应用程序使用，那么GridFS并不符合要求。这正是MongoDB存储BSON格式对象的方式。它是一个对象系统而不是文件系统。

这里有一个项目来创建GridFS挂载，但这有点奇怪，因为GridFS没有分层目录之类的概念，尽管允许使用路径。而且，我也不确定如何在gridfs-fuse上发布文章。

GlusterFS和Ceph是可比较的，并且是分布式的、可复制的可安装文件系统。您可以使用在这里读一读两者的比较 (和比较的后续更新)，但是要记住，基准测试是由有一点偏见的人完成的。你也可以看关于这个议题的辩论。

至于HekaFS，是为云计算设置的GlusterFS，添加了加密和多租户以及管理UI。

Answer 2

OrangeFS，有人吗？

我正在寻找一个HPC DFS，并在这里找到了以下讨论：http://forums.gentoo.org/viewtopic-t-901744-start-0.html

(许多好的数据和比较:)

经过一些讨论，OP决定使用OrangeFS，并引用："OrangeFS。它不支持配额或文件锁(尽管所有的i/o操作都是原子的，这样就可以保持一致性而不需要锁)。但它有效，运行良好，稳定。此外，这并不是一个面向文件存储的通用系统，而是专门针对并行I/O的HPC专用系统，包括ROMIO支持。所有测试都进行了条纹数据的分布。( a)没有配额-地狱配额。无论如何，我放弃了它们，即使glusterfs也不支持通用的基于uid/gid的配额，而是目录大小限制，更像LVM。( b)支持和稳定多个活动元数据服务器。与专用元数据存储(单个节点)相比，这在小文件上提供了+50%的性能，而在大型文件上没有显着性差异。c)在大数据块(dd bs=1M)上具有优异的性能。它受到本地硬盘驱动器(不要忘记每个节点也作为数据服务器参与)速度和可用网络带宽的限制。在这样的负载上CPU的消耗是不错的，在客户端节点上约占单个核心的50%，在其他数据服务器节点上约占10%。d)在大型小文件集上的公平表现。对于测试，我取消了linux内核3.1。它在OrangeFS上花了5分钟(有调优的参数)，比NFSv4花了将近2分钟(也调好了)。CPU负载大约是单个核心的50% (当然，它实际上是分布在各个核心之间)，在客户端和每个节点上大约有几个百分点。e)支持ROMIO MPI /O API。对于支持MPI的应用程序来说，这是一个很好的选择，它允许直接从应用程序中使用PVFS2 2/OrangeFS并行输入输出特性。不支持特殊文件(套接字、fifo、块设备)。因此，不能安全地作为/home使用，我使用NFSv4来完成该任务，为用户提供配额限制的小家庭空间。尽管大多数分布式文件系统无论如何都不支持特殊文件。“

Answer 3

我不知道您发布的其他系统，但我对本地存储的3 PHP /框架与GlusterFS进行了比较，看看它在实际测试中是否比原始基准测试做得更好。遗憾的是没有。

http://blog.lavoie.sl/2013/12/glusterfs-performance-on-different-frameworks.html