首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Flink流窗口容量边界

Flink流窗口容量边界
EN

Stack Overflow用户
提问于 2018-03-13 02:13:49
回答 1查看 44关注 0票数 0

我是Flink流媒体的初学者。我正在处理大约每秒5000个传入的事件,需要查找过去3天的事件窗口。我的问题是: Flink在哪里存储它的窗口数据?我会受到RAM大小的限制吗?在每秒5000字节和每个事件2000字节的情况下,我正在考虑三天窗口的非常大的存储需求。

EN

回答 1

Stack Overflow用户

发布于 2018-03-13 04:42:49

Flink提供了相当多的选项来存储临时的"3天窗口数据“(通常称为”窗口状态“)。默认情况下,它存储在内存中(受JobManager内存的限制),但正如您所提到的,它可以根据窗口的大小快速增长。因此,Flink支持将状态的副本(快照)保存到磁盘,这一过程称为检查点。要实现这一点,您应该配置一个状态后端,例如RocksDB。

关于这个的更多信息:

1

2

3

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/49241901

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档