大量文件的分布式存储

Question

小集思广益。

我为分布式存储解决方案搜索最合适的解决方案。我寻找一个高效的键/值存储，平面命名空间，最小的延迟。

场景

我计划保存1Ko或更少的小blob记录。它们大多是生产/消耗的记录：

• 1写
• 1阅读，更多关于罕见的情况。
• 删除，几个月后存档。

然而，一些记录可能增长到10 be，这是最大的，但必须是可能的。

数据必须在磁盘上序列化。

重要

我的第一优先是一个存储空间，它可以在一个真正的文件列表中提供良好的响应时间，这个列表中可能有数亿个文件。

当然，使用这个数字，我不关心迭代我的文件(我寻找功能，但不关心性能，只关心调试或维护)。

当然，这种规模的解决方案，没有SPOF只会更好。

必须是Linux解决方案，不允许云(私有数据)。

我所发现的

我看了伏地魔，卡桑德拉和HBase。

• 恐怕卡桑德拉和HBase对blob记录并不有效。
• 伏地魔看上去还不成熟，我找不到支持的记录大小和文件数量的信息。

我还检查了Lustre和Ceph，但它们不是key/value商店。

CouchBase和MongoDB在持久性激活的情况下性能很差。

我正在运行一些测试，但还不能真正启动可靠的基准测试。如果有人有关于这个解决方案的一些信息，或者知道另一个产品设计这样的工作负载？

Answer 1

您看过像英菲尼西或哈泽尔卡斯特这样的内存数据网格吗？它们具有良好的可伸缩性和响应性，但是如果有一天您会考虑对这些条目进行任何处理，则存储10 on对象可能会是一个问题。但是，例如，Hazelcast允许在拥有目标条目的集群的同一个成员上执行任务，从而减少成员间数据流的数量。