我正在开发一个基于Apache Flink的应用程序,它使用Apache Kafka进行输入和输出。这个应用程序可能会移植到Apache Spark,所以我也添加了这个标记,问题仍然是一样的。
我要求通过kafka接收的所有传入消息都必须按顺序处理,并且安全地存储在持久化层(数据库)中,任何消息都不能丢失。
此应用程序中的流部分相当琐碎/很小,因为主要逻辑可以归结为以下内容:
environment.addSource(consumer) // 1) DataStream[Option[Elem]]
.filter(_.isDefined) // 2) discard unparsable messages
.map(_.get) // 3) unwrap Option
.map(InputEvent.fromXml(_)) // 4) convert from XML to internal representation
.keyBy(_.id) // 5) assure in-order processing on logical-key level
.map(new DBFunction) // 6) database lookup, store of update and additional enrichment
.map(InputEvent.toXml(_)) // 7) convert back to XML
.addSink(producer) // 8) attach kafka producer sink现在,在这个管道中,可能会发生以下几种错误情况:
可能还有其他情况。
现在我的问题是,在这些情况下,当我实际上需要做以下事情时,我怎样才能保证上述情况的一致性:
DBFunction对象的DB连接,只有在几分钟后才能成功。现在我知道至少有两个关于故障处理的工具:
但是,在搜索文档时,我无法从单个操作符中看出如何在流处理过程中使用这两种方法。
那么,对于流应用程序中的细粒度错误处理和恢复,推荐的策略是什么?
发布于 2019-03-06 18:40:46
以下几点:
keyBy不会帮助确保按顺序处理。如果有的话,它可能会从不同的Kafka分区交织事件(在每个分区内可能是有序的),从而在以前不存在的情况下造成无序。在不了解您打算使用多少FlinkKafkaConsumer实例、每个分区将使用多少分区、键如何分布在卡夫卡分区之间、以及为什么您认为keyBy是必要的--但如果设置正确的话,保持顺序可能是可以实现的--很难更具体地说明如何保证有序处理。reinterpretAsKeyedStream在这里是有帮助的,但是这个特性很难理解,而且很难正确使用。
您可以使用Flink的AsyncFunction以一种容错的方式管理到外部DB的连接。
Flink不以系统的方式支持细粒度恢复--它的检查点是整个分布式集群状态的全局快照,被设计为作为一个整体、自洽的快照在恢复过程中使用。如果作业失败,通常唯一的办法是从检查点重新启动,这将涉及回绕输入队列(到存储在检查点中的偏移量)、重播自这些偏移量后发生的事件、重新发出DB查找(异步函数将自动完成这些查找),以及使用kafka事务来实现完全一次语义的端到端。但是,在出现令人尴尬的并行作业的情况下,有时可以利用细粒度回收。
https://stackoverflow.com/questions/54444938
复制相似问题