编写大量elasticsearch

Question

我正在写一个使用kafka，风暴和elasticsearch的实时分析工具，并想要一个elasticsearch，这是写优化约50K/秒插入。为了达到POC的目的，我尝试将批量文档插入到elasticsearch中，达到每秒10K的插入次数。

我在一大盒亚马逊ec2上运行ES。我对属性进行了如下调整：

indices.memory.index_buffer_size: 30%
indices.memory.min_shard_index_buffer_size: 30mb
indices.memory.min_index_buffer_size: 96mb

threadpool.bulk.type: fixed
threadpool.bulk.size: 100
threadpool.bulk.queue_size: 2000


bootstrap.mlockall: true

但我希望写入性能为50K，而不是10K，以确保我的storm拓扑的正常流。有人能建议如何配置一个重写优化的ES集群吗？

Answer 1

位于此处的scripts可以帮助您提高索引性能。有很多选项和配置可以尝试，我写了一些here，但这不是一个全面的列表。减少副本和增加分片会提高索引性能，但会降低索引期间的可用性和搜索性能。

也许向多个节点而不仅仅是主节点发送HTTP批量请求可以帮助您获得所需的数据。

希望这能有所帮助。10k/ps的插入比大多数人达到的效果要好，但我不知道他们是否可以使用大型Amazon实例。