我使用elasticsearch滚动api返回大量文档。根据文档的说法
“每次运行滚动请求时,滚动过期时间都会被刷新,因此它只需要足够长的时间来处理当前的批结果,并不是所有匹配query.The超时的文档都很重要,因为保持滚动窗口打开会消耗资源,并且我们希望在不再需要资源时立即释放它们。设置超时使Elasticsearch能够在一段小时间不活动之后自动释放资源。”
我的问题是如何优化时间参数?我有过一些需要请求和处理600页的实例,在第300页(很长的一段时间内),它会失败。我怀疑如果我能够优化传递的时间参数,它将更有效地使用ES资源,并且不会出现故障。这段代码正在这里的集群上进行测试,但可能会移植到许多其他集群中,因此我希望对时间参数进行优化以适应集群。而且,我不想在ES集群上使用比我需要的b/c更多的资源--其他用户可能也会使用它。
这是我的主意。在初始滚动请求中,传递一个慷慨的时间参数,比如5m,然后返回结果的第一页需要多长时间。然后,在第二个滚动请求中,我们传递给它一个时间参数,这个参数比第一个请求所需的时间稍微大一点。归纳起来,每个页面请求来的时间略大于以前观察到的页面的完成时间。这假设由于每个页面返回相同数量的文档(在我的例子中几乎相同大小),返回该页面所需的时间与以前观察到的时间大致相同。这个假设成立吗?
是否有更智能的方法来适应时间参数?对于这个问题,大小参数(在上面的想法中,大小参数保持不变)。
发布于 2016-09-28 18:40:59
好的,我做了一些数据分析,发现了一些经验性的东西。对于许多不同的大小,我运行了10-20页的滚动api查询。对于一个固定的大小,返回一个页面所需的时间大致是高斯的,下面给出了平均值。
means = {1000: 6.0284869194030763,
1500: 7.9487858772277828,
2000: 12.139444923400879,
2500: 18.494202852249146,
3000: 22.169868159294129,
3500: 28.091009926795959,
4000: 36.068559408187866,
5000: 53.229292035102844}我的下一个想法是,这可能取决于机器上是否运行其他查询,所以我进行了实验,其中一半是来自ES的唯一请求,另一半是运行第二个滚动查询时的请求。时机似乎没有改变。
最后,由于时间将取决于给定的ES配置和带宽等。我提出这个解决办法。
size = 3000 wait_time =2 ##慷慨的启动时间
returned_hits = {} ##页面,尝试时的点击列表< 3:尝试:打印“\n\t运行具有size =%s.”的警报滚动查询“%( ##)页=client.search(索引=索引,doc_type = doc_type,body = q,滚动= '1m',search_type =‘扫描’,大小=大小)
sid = page'_ scroll _ id‘## sid total_hits =page’‘hits’##有多少个结果。打印“t\t有%s点击总数”%(total_hits) p=0 ##页计数doc_count =0 ##文档计数#开始滚动(scroll_size > 0):P += 1打印“\t滚动到页%s .”%p Start = time.time() page = client.scroll(scroll_id = sid ),滚动= str( wait_time ) + 'm') end = time.time() ## update wait_time使用加权运行平均值。wait_time =((结束-开始+ 10) +浮起(wait_time* p) / (p+1)打印“t\t Page %s占用%s秒。我们将时间更改为%s”%(p,end - start,wait_time) sid =page‘_sid’#更新滚动ID scroll_size =len(页面“点击”) ## no。存储%. %( p,scroll_size ) returned_hitsp = page' hits‘doc_count += scroll_size ##更新文档处理打印的总数“t\t返回并存储%s %s文档%s”%(doc_count,total_hits)尝试3 ##设置为3,所以我们退出we循环!除了:e= sys.exc_info()打印“t\t-在try %s \t\t大小上的错误为%s,wait_time为%s min,\n\t\恐怖消息= %s”%(尝试,_size,wait_time,e)尝试+= 1 ##增量尝试,并再次执行,直到3次尝试。# wait_time *= 2 ##是下一轮的时间间隔的两倍,size = int(.8 * size) ##,每个碎片返回较低的docs大小。如果尝试== 3:打印“to三次罢工,您就出局了!”(连续三次失败以执行警报查询)。退出。其他:打印'\t\t --再次尝试%s-第四次.‘%(尝试+1)https://stackoverflow.com/questions/39729328
复制相似问题