高通量刀片的NoSQL技术

Question

在现有的非sql技术中，哪一种更适合高吞吐量插入？我确信这也取决于硬件，但假设我使用的是具有固定步长的amazon集群计算节点，并且理想情况下需要最少的节点数。我需要一个存储系统，它可以提供20 is /min的插入，在这里我的数据是完全结构化的，每一行大约是110字节。Theoretically，我可以不确定地增加硬件来实现这一点，但是我想知道哪种技术更适合这种高吞吐量的插入？

Answer 1

您希望查看完全分布的数据源，如HBase、Cassandra、MongoDB等。假设您有足够的碎片，切分的MySQL或其他关系数据库也可以工作。因此，总之，您可能不想将您的决定仅仅基于这一标准。

Answer 2

高声思考

简单地说，

• “20 of /min”是“350 of/s”，所以这肯定需要10 10Gbit (如果它是通过网络的话)，并且需要大量的缓存，因此需要RAM。考虑到
• 的速率和(小)消息大小，您可能不想处理GC，尽管为解决方案付费(例如，Azul)可能能够维持GC。
• “理想情况下希望节点最少”，这意味着传统的水平扩展NoSQL退出了，除非100+节点可以被认为是“最小”的
• ，需要是NoSQL吗？手头的实际问题是什么？这是一个批处理作业(可接受的高延迟)吗？这是一种市场饲料(例如，一段时间的峰值)吗？这是一个学校项目吗？
• ，因为您想使用亚马逊，并且确实想做NoSQL，所以DynamoDB值得一试，因为它“保证”了所需的吞吐量

。