首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在使用ElasticSearch滚动API时,如何在现场优化时间参数?

问在使用ElasticSearch滚动API时,如何在现场优化时间参数?
EN

Stack Overflow用户
提问于 2016-09-27 16:01:25
回答 1查看 1.8K关注 0票数 1

我使用elasticsearch滚动api返回大量文档。根据文档的说法

“每次运行滚动请求时,滚动过期时间都会被刷新,因此它只需要足够长的时间来处理当前的批结果,并不是所有匹配query.The超时的文档都很重要,因为保持滚动窗口打开会消耗资源,并且我们希望在不再需要资源时立即释放它们。设置超时使Elasticsearch能够在一段小时间不活动之后自动释放资源。”

我的问题是如何优化时间参数?我有过一些需要请求和处理600页的实例,在第300页(很长的一段时间内),它会失败。我怀疑如果我能够优化传递的时间参数,它将更有效地使用ES资源,并且不会出现故障。这段代码正在这里的集群上进行测试,但可能会移植到许多其他集群中,因此我希望对时间参数进行优化以适应集群。而且,我不想在ES集群上使用比我需要的b/c更多的资源--其他用户可能也会使用它。

这是我的主意。在初始滚动请求中,传递一个慷慨的时间参数,比如5m,然后返回结果的第一页需要多长时间。然后,在第二个滚动请求中,我们传递给它一个时间参数,这个参数比第一个请求所需的时间稍微大一点。归纳起来,每个页面请求来的时间略大于以前观察到的页面的完成时间。这假设由于每个页面返回相同数量的文档(在我的例子中几乎相同大小),返回该页面所需的时间与以前观察到的时间大致相同。这个假设成立吗?

是否有更智能的方法来适应时间参数?对于这个问题,大小参数(在上面的想法中,大小参数保持不变)。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-09-28 18:40:59

好的,我做了一些数据分析,发现了一些经验性的东西。对于许多不同的大小,我运行了10-20页的滚动api查询。对于一个固定的大小,返回一个页面所需的时间大致是高斯的,下面给出了平均值。

代码语言:javascript
复制
means =  {1000: 6.0284869194030763,
 1500: 7.9487858772277828,
 2000: 12.139444923400879,
 2500: 18.494202852249146,
 3000: 22.169868159294129,
 3500: 28.091009926795959,
 4000: 36.068559408187866,
 5000: 53.229292035102844}

我的下一个想法是,这可能取决于机器上是否运行其他查询,所以我进行了实验,其中一半是来自ES的唯一请求,另一半是运行第二个滚动查询时的请求。时机似乎没有改变。

最后,由于时间将取决于给定的ES配置和带宽等。我提出这个解决办法。

  1. 为初始页面设置一个慷慨的页面时间。
  2. 每页的时间
  3. 在观察到的时间+一点点时间和初始时间之间使用加权运行平均值(因此您的时间参数总是比需要的要大一些,但会减少到平均值+一点点)。下面是一个例子: 尝试=0 size = 3000 wait_time =2 ##慷慨的启动时间 returned_hits = {} ##页面,尝试时的点击列表< 3:尝试:打印“\n\t运行具有size =%s.”的警报滚动查询“%( ##)页=client.search(索引=索引,doc_type = doc_type,body = q,滚动= '1m',search_type =‘扫描’,大小=大小) sid = page'_ scroll _ id‘## sid total_hits =page’‘hits’##有多少个结果。打印“t\t有%s点击总数”%(total_hits) p=0 ##页计数doc_count =0 ##文档计数#开始滚动(scroll_size > 0):P += 1打印“\t滚动到页%s .”%p Start = time.time() page = client.scroll(scroll_id = sid ),滚动= str( wait_time ) + 'm') end = time.time() ## update wait_time使用加权运行平均值。wait_time =((结束-开始+ 10) +浮起(wait_time* p) / (p+1)打印“t\t Page %s占用%s秒。我们将时间更改为%s”%(p,end - start,wait_time) sid =page‘_sid’#更新滚动ID scroll_size =len(页面“点击”) ## no。存储%. %( p,scroll_size ) returned_hitsp = page' hits‘doc_count += scroll_size ##更新文档处理打印的总数“t\t返回并存储%s %s文档%s”%(doc_count,total_hits)尝试3 ##设置为3,所以我们退出we循环!除了:e= sys.exc_info()打印“t\t-在try %s \t\t大小上的错误为%s,wait_time为%s min,\n\t\恐怖消息= %s”%(尝试,_size,wait_time,e)尝试+= 1 ##增量尝试,并再次执行,直到3次尝试。# wait_time *= 2 ##是下一轮的时间间隔的两倍,size = int(.8 * size) ##,每个碎片返回较低的docs大小。如果尝试== 3:打印“to三次罢工,您就出局了!”(连续三次失败以执行警报查询)。退出。其他:打印'\t\t --再次尝试%s-第四次.‘%(尝试+1)
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/39729328

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档