首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >即使使用了输出速率限制器,Esper仍会抛出oom

即使使用了输出速率限制器,Esper仍会抛出oom
EN

Stack Overflow用户
提问于 2019-10-16 10:51:49
回答 1查看 31关注 0票数 0

我们在esper中创建每小时一次的上下文,并使用@hint和output rate limiter.But,在某些事件中,我们仍然会耗尽内存。XMX -12 G

在某些情况下,如果我们有糟糕的压缩,这意味着,例如,我们获得了6 GB的数据,这是非聚合的,因此它是esper的不良压缩。

我还想在esper上限制大小,所以如果我们在每小时上下文之前达到限制,我可以刷新压缩不好的大块数据。

这就像你遇到了每小时的上下文或者输出数据的大小。

我的esper查询

代码语言:javascript
复制
 private static final String HOURLY_CONTEXT =
  "create context HourlyRollup start(0,*,*,*,*,0) end(59,*,*,*,*,59)";
  private static final String HINT = "@Hint('enable_outputlimit_opt') ";

private static final String HOURLY_STATEMENT = HINT+
      "context HourlyRollup "
          + "select count(*) as xcount,hourlyFloor(min(from_time)),a,b,c,d,e,f,"
          + "g,h,sum(h),sum(i),j,k,l,"
          + "m,n,y,o,p,q,r "
          + "from io.common.Bean where Dir in (-5,-3,0,1) "
          + "group by a,b,c,d,e,f,g,Direction,h,"
          + "i,j,k,l,m,l,n,o,p output all "+"when terminated";
EN

回答 1

Stack Overflow用户

发布于 2019-10-16 12:30:01

确保您的查询是完全聚合的,否则Esper必须保留事件,因为select子句请求事件数据。当查询是完全聚合的时,Esper只保留聚合数据,这就是您想要的。

这不是完全聚合:

代码语言:javascript
复制
select a, b, count(*) from Event group by a

这是更好的和完全聚合的:

代码语言:javascript
复制
select a, b, count(*) from Event group by a, b

这方面的文档是here

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/58405063

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档