弹性搜索中使用"search_after“搜索1M数据

Question

我已经在elasticsearch上上传了大约1TB的数据。因为我尝试了以下方法-

1. 默认值为10000的"from+size“，但我想从100000搜索，因此我将index.max_result_window设置为100000。然后从100000和size=10搜索，但是它会导致堆大小满。
2. 滚动API -使用更多的文件句柄来保持旧段的活力。因此，它再次消耗节点中配置的内存。
3. search_after -我试着根据_uid对文档进行排序，但是它给了我后续的错误-

-

{
  "error": {
    "root_cause": [
      {
        "type": "circuit_breaking_exception",
        "reason": "[fielddata] Data too large, data for [_uid] would be    [13960098635/13gb], which is larger than the limit of [12027297792/11.2gb]",
        "bytes_wanted": 13960098635,
        "bytes_limit": 12027297792 
    }
  }
},

如何解决此错误，以及通过分页搜索大量数据的最有效方法是什么？

Answer 1

你撞到断路器了，因为现场数据很大。它比堆中分配的部分大。

请参阅此处的Elasticsearch文档：usage.html#circuit-breaker

根据您的搜索需求，您可以考虑增加堆大小，您可以更改断路器限制，以便在您的场景中不会触发。最好的解决方法可能是限制现场数据缓存的大小。

通过将此设置添加到config/elasticsearch.yml文件中，可以对字段数据设置上限(相对或绝对)：

indices.fielddata.cache.size:  20% 

有关详细信息，请参阅：usage.html#fielddata-size

现在的答案是：FIELDDATA Data is too large