首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >基于流的应用程序中的受控/手动错误/恢复处理

问基于流的应用程序中的受控/手动错误/恢复处理
EN

Stack Overflow用户
提问于 2019-01-30 16:16:35
回答 1查看 232关注 0票数 3

我正在开发一个基于Apache Flink的应用程序,它使用Apache Kafka进行输入和输出。这个应用程序可能会移植到Apache Spark,所以我也添加了这个标记,问题仍然是一样的。

我要求通过kafka接收的所有传入消息都必须按顺序处理,并且安全地存储在持久化层(数据库)中,任何消息都不能丢失。

此应用程序中的流部分相当琐碎/很小,因为主要逻辑可以归结为以下内容:

代码语言:javascript
复制
environment.addSource(consumer)    // 1) DataStream[Option[Elem]]
  .filter(_.isDefined)             // 2) discard unparsable messages
  .map(_.get)                      // 3) unwrap Option
  .map(InputEvent.fromXml(_))      // 4) convert from XML to internal representation
  .keyBy(_.id)                     // 5) assure in-order processing on logical-key level
  .map(new DBFunction)             // 6) database lookup, store of update and additional enrichment
  .map(InputEvent.toXml(_))        // 7) convert back to XML
  .addSink(producer)               // 8) attach kafka producer sink

现在,在这个管道中,可能会发生以下几种错误情况:

  • 数据库变得不可用(关机,表空间已满,.)
  • 由于逻辑错误(来自列格式),无法存储更改
  • 卡夫卡的制作者由于经纪人不可用而无法发送信息。

可能还有其他情况。

现在我的问题是,在这些情况下,当我实际上需要做以下事情时,我怎样才能保证上述情况的一致性:

  1. 流-操作符6)检测问题(DB不可用)
  2. 必须恢复DBFunction对象的DB连接,只有在几分钟后才能成功。
  3. 这意味着必须暂停整个处理,最好是整个管道,这样传入的消息就会大量加载到内存中。
  4. 恢复数据库后继续处理。处理必须与在1处遇到问题的消息完全相同)

现在我知道至少有两个关于故障处理的工具:

  1. 卡夫卡消费者补偿
  2. apache flink检查点

但是,在搜索文档时,我无法从单个操作符中看出如何在流处理过程中使用这两种方法。

那么,对于流应用程序中的细粒度错误处理和恢复,推荐的策略是什么?

EN

回答 1

Stack Overflow用户

发布于 2019-03-06 18:40:46

以下几点:

keyBy不会帮助确保按顺序处理。如果有的话,它可能会从不同的Kafka分区交织事件(在每个分区内可能是有序的),从而在以前不存在的情况下造成无序。在不了解您打算使用多少FlinkKafkaConsumer实例、每个分区将使用多少分区、键如何分布在卡夫卡分区之间、以及为什么您认为keyBy是必要的--但如果设置正确的话,保持顺序可能是可以实现的--很难更具体地说明如何保证有序处理。reinterpretAsKeyedStream在这里是有帮助的,但是这个特性很难理解,而且很难正确使用。

您可以使用Flink的AsyncFunction以一种容错的方式管理到外部DB的连接。

Flink不以系统的方式支持细粒度恢复--它的检查点是整个分布式集群状态的全局快照,被设计为作为一个整体、自洽的快照在恢复过程中使用。如果作业失败,通常唯一的办法是从检查点重新启动,这将涉及回绕输入队列(到存储在检查点中的偏移量)、重播自这些偏移量后发生的事件、重新发出DB查找(异步函数将自动完成这些查找),以及使用kafka事务来实现完全一次语义的端到端。但是,在出现令人尴尬的并行作业的情况下,有时可以利用细粒度回收。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54444938

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档