Apache通过从检查点恢复作业来保证在故障和恢复时处理一次,检查点是分布式数据流和操作符状态的一致快照(Chandy-Lamport算法用于分布式快照)。此保证在故障转移时恰好是一次。
在正常的集群操作中,Flink如何保证只处理一次,例如给定从外部源读取的Flink源(例如Kafka),Flink如何保证事件从源读取一次?事件源和Flink源之间是否存在某种类型的应用程序级别?另外,Flink如何保证事件准确地从上游运营商到下游运营商之间只发生一次?对于接收到的事件,这也需要任何形式的附加条件吗?
发布于 2020-09-30 10:43:08
Flink并不保证每个事件都从源读取一次。相反,它保证每个事件只影响托管状态一次。
检查点包括源偏移量,在检查点恢复期间,源被重绕,一些事件可能被重播。这很好,因为检查点在整个作业中都包含了状态,这些状态是通过将所有内容读取到存储在检查点中的偏移量而产生的,除了这些偏移量之外,没有其他任何内容。
因此,Flink的一次保证需要可重放的资源。操作员之间的消息传递一次完全取决于tcp。
要确保接收器不会收到重复的结果,还需要事务性接收器。Flink将事务作为检查点的一部分提交。
https://stackoverflow.com/questions/64135631
复制相似问题