ElasticSearch滚动接口连接时间

Question

我们使用的是Elasticsearch 6.8版本。我只想使用带scroll=1m连接时间的滚动接口(https://www.elastic.co/guide/en/elasticsearch/reference/6.8/search-request-scroll.html)。(1m是一个例子，我问的是x分钟或小时的最大值。)

我想知道的是这个滚动连接时间。如果我用scrollId请求，连接时间会重置，但它的最大时间是多少，或者保持连接很长时间是不好的吗？

我想使用包含1-1000万条记录的scrollId，并将我的文档批量导出，每1分钟一次。无论如何，如果我的系统以某种方式崩溃了，我想继续我停止的地方，所以我想尽可能长时间地使用我的连接，如果它不使用额外的内存或cpu等。我可以保持连接活动的最长时间是多少，应该是多少？或者应该是这样？

谢谢！

Answer 1

保持滚动上下文活动的最大值是24小时(24小时)。可以通过设置"search.max_keep_alive“群集设置来更改此限制。

设置较大的值会增加分片的负载。

来自documentation

滚动不是用于实时用户请求，而是用于处理大量数据，例如为了将一个索引的内容重新索引到具有不同配置的新索引中

来自documentation

通常，后台合并过程通过将较小的段合并在一起来创建新的较大的段来优化索引，此时较小的段将被删除。此过程在滚动期间继续，但打开的搜索上下文可防止在旧段仍在使用时将其删除。这就是Elasticsearch能够返回初始搜索请求的结果的方式，而不管随后对文档的更改如何。

来自documentation

当超过滚动超时时，将自动删除

搜索上下文。但是，保持滚动打开是有代价的，正如上一节所讨论的，因此一旦不再使用滚动，就应该使用clear-scroll API显式清除滚动：