我应该采用哪种优化策略来使用Elasticsearch进行大量的不间断索引？

Question

我有一个搜索引擎应用程序，它经常解析提要并在ES中索引结果(版本1.5.2)。

我平均有350万份文件被编入索引。删除文档的百分比有时约为40%，我在索引(大容量)时有一些请求超时。

• 我应该采取哪一种优化政策？
• 我是否应该每天停止索引一次或多次 优化索引，减少已删除文档的百分比，合并段吗？
• 优化过程会影响查询吗？

我想知道使用这种情况的最佳解决办法是什么。

我使用的是自定义_id，我知道它存在性能问题，但是遗憾地改变它不是一种选择。

提前感谢

Answer 1

如果您的一些批量索引请求正在超时，这表明您需要降低索引的速率。Elasticsearch专家建议不要使用优化API。在后台段中会发生合并，负责自动删除已删除的文档。如果索引率高，也不要使用优化API。这只会导致更多索引请求超时。是的，优化也会对搜索性能产生负面影响，因为它是一种非常资源密集型的操作。

简而言之，降低你的索引率。这应该能解决你在这里提到的大部分问题。请求不会超时，被删除的文档百分比也可能下降。