大容量处理器“内存中”索引时的Elasticsearch数据丢失

Question

我生成了4百万个文档，并用大容量处理器保存它们。当我将index.store.type设置为内存时，我会得到一些奇怪的NPE，但最终会有大约2百万个文档被索引。我试着每批插入800个文档(非常小的文档，很少的kbs)，3个线程具有1gb的堆。使用设置为index.store.type的相同代码，用4个线程插入3k文档/批处理都很顺利(当然，更大的设置对“内存”也不起作用)，最终结果是4百万个索引文档如预期的那样。是否有任何其他设置，我应该设置，以使它与‘内存’设置？我有一个节点，五个碎片，一个副本。

Answer 1

如果您只使用一个节点存储在内存中，那么需要副本吗？这可能导致同一台服务器上有两个副本。

我建议您添加额外的节点来缩小负载，并使用您正在使用的5个碎片，否则这些碎片就没有意义了，尽管您不能稍后再添加它们。

5 5KB *4百万是20 5KB。您没有说明您有多少RAM，所以在将所有额外的索引数据添加到顶部之后，很难判断您的所有文档是否会被放入内存中。