ElasticSearch + Cassandra的实用限制

Question

我计划使用ElasticSearch来索引我的Cassandra数据库。我想知道是否有人看到过ElasticSearch的实际限制。在Do的范围内，事情会变慢吗？另外，有没有人在使用ElasticSearch为Cassandra建立索引时遇到任何问题？

Answer 1

参见2011年的this thread，其中提到了具有1700个分片的ElasticSearch配置，每个分片的大小为200 be，大约在1/3 be的范围内。我预计ElasticSearch的体系结构将支持几乎无限的水平可伸缩性，因为每个分片索引都独立于所有其他分片工作。

实际限制(也适用于任何其他解决方案)包括首先实际加载那么多数据所需的时间。管理这种规模的Cassandra集群(或任何其他分布式数据存储)也会涉及到大量的工作负载，仅仅是为了维护、负载平衡等。

Answer 2

Sonian就是金奇在这篇文章中提到的公司。我们在多个ES群集上的AWS上有超过1 We的数据。在水平方向上扩展ES没有技术限制，但正如DNA提到的那样，存在实际问题。到目前为止最大的是网络。它适用于每个分布式数据存储。你一次只能在导线上移动这么多。当ES必须从故障中恢复时，它必须移动数据。最好的选择是在更多的节点上使用更小的分片(更多的并发传输)，但您有更高的故障率和高昂的每字节成本的风险。

Answer 3

正如DNA提到的，有1700个分片，但不是1700个分片，而是有1700个索引，每个索引有一个分片和一个副本。因此，这1700个索引很可能不在一台机器上，而是分散在多台机器上。所以这从来都不是问题