高流量条件下的弹性搜索索引策略

Question

我们使用ElasticSearch作为工具的实时度量和分析部分。当我们查询数据时，ElasticSearch是非常酷和快速的。(统计方面和术语方面)

但是，当我们试图索引我们的每小时数据时，我们会遇到问题。我们从其他服务中收集每一个度量数据。首先，我们从其他服务收集数据，并保存它们的RabbitMQ过程。但是，当队列工作人员运行我们的所有小时数据时，没有索引到ES。通常，ES中%40的数据索引和其他数据索引丢失。

那么，在高流量的情况下，你对指数的看法是什么呢？

Answer 1

我贴出了其他类似问题的答案：

• Ways to improve first time indexing in ElasticSearch
• Performance issues using Elasticsearch as a time window storage (我的答案的后半部分适用)

另外，您考虑过使用“河流”而不是自定义的“队列工作者”吗？有关更多信息，请参见：

• http://www.elasticsearch.org/blog/the-river/
• http://www.elasticsearch.org/guide/reference/river/