我需要设置一个数据存储,可以存储PB级别的文件(文件大多是小的json,图像和csv文件,但其中一些可以是~100MB的二进制文件)。
我正在研究分布式数据存储,它是无主机和无单点故障的。
我找到了Riak和GlusterFS
我想问你们谁以前用过这两个?
我知道那里的接口(DB/Map)非常不同。但在我看来,它们都使用了散列和类似的分布式技术。它们是否具有类似的性能、一致性和可用性?
发布于 2012-07-05 23:10:17
我们正在运行一个17节点(24 We,2T磁盘)的Riak集群,它有一个Bitcask后端,存储了大约10亿个3k对象。这种设置的性能很好,但占用的资源非常多。我们正在考虑从Riak迁移到GlusterFS,因为性能对我们来说并不那么重要。也许使用LevelDB作为后端也可以减轻我们的担忧。
Riak的自我修复特性似乎更强,配置也更容易一些。在你的情况下,我更喜欢在GlusterFS上存储100MB的文件。
发布于 2012-04-04 01:43:52
存储更大的文件,比如你提到的100MB文件,对于普通的OSS Riak来说不是正确的选择。
在这种情况下,你真正应该使用的是Basho最新发布的RiakCS http://basho.com/products/riakcs/。
发布于 2012-04-20 02:41:08
选择主要取决于需求。通常,如果你实际上不需要一个真正的文件系统(有挂载点,ACL管理等等),并且只需要通过编程来使用或提供文件,那么我会推荐Riak,否则推荐GlusterFS。
https://stackoverflow.com/questions/8483710
复制相似问题