首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Apache Flink中的端到端精确处理一次

问Apache Flink中的端到端精确处理一次
EN

Stack Overflow用户
提问于 2020-09-30 10:28:17
回答 1查看 1.5K关注 0票数 3

Apache通过从检查点恢复作业来保证在故障和恢复时处理一次,检查点是分布式数据流和操作符状态的一致快照(Chandy-Lamport算法用于分布式快照)。此保证在故障转移时恰好是一次。

在正常的集群操作中,Flink如何保证只处理一次,例如给定从外部源读取的Flink源(例如Kafka),Flink如何保证事件从源读取一次?事件源和Flink源之间是否存在某种类型的应用程序级别?另外,Flink如何保证事件准确地从上游运营商到下游运营商之间只发生一次?对于接收到的事件,这也需要任何形式的附加条件吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-09-30 10:43:08

Flink并不保证每个事件都从源读取一次。相反,它保证每个事件只影响托管状态一次。

检查点包括源偏移量,在检查点恢复期间,源被重绕,一些事件可能被重播。这很好,因为检查点在整个作业中都包含了状态,这些状态是通过将所有内容读取到存储在检查点中的偏移量而产生的,除了这些偏移量之外,没有其他任何内容。

因此,Flink的一次保证需要可重放的资源。操作员之间的消息传递一次完全取决于tcp。

要确保接收器不会收到重复的结果,还需要事务性接收器。Flink将事务作为检查点的一部分提交。

票数 6
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64135631

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档