首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Apache处理流水线-应用状态、错误处理和容错?

问Apache处理流水线-应用状态、错误处理和容错?
EN

Stack Overflow用户
提问于 2020-08-21 07:31:11
回答 1查看 226关注 0票数 0

我正在开发我的第一个Apache波束管道,以处理AWS Kinesis中的数据流。我熟悉Kafka的概念,了解它如何处理消费者的偏移量/状态,并具有实现apache / experience处理的经验。

在阅读了这些文档之后,我成功地创建了一个工作波束管道,使用KinesisIO Java侦听AWSKinsis数据流来转换和打印消息。但是,想知道在apache w.r.t中如何处理以下区域的引用实现或指针。KinesisIO -

  1. 如何在Kinesis中唯一地标识消费者应用程序(类似于Kafka中的消费者组Id )--我说得对吗?它基于apache的应用程序名称,并且使用KCL的任何使用者在DynamoDB中跟踪其状态;是否总是如此&对于apache也是这样吗?

  1. 如何强制使用者开始处理数据流w.r.t。它的碎片是从先前中断的地方开始的,例如在使用者被重新启动的情况下,或者在处理过程中出现错误异常(类似于偏移管理w.r.t )。(Kakfa的每个消费者groupId )。InitialPositionInStream.TRIM_HORIZON总是从最早可用的数据流开始,即使我在处理了几个Kinesis的数据之后重新启动了管道。

  1. :ack如何在动态数据流中工作,即使用者如何在进一步增加碎片中的序列/位置之前处理使用getRecords()获取的数据流的检查点?是否有任何方法可以控制使用者应用程序中的这些行为:何时成功地对消息进行加密以保存应用程序状态&在重新启动使用者时从这些位置开始?

  1. 对业务异常的影响(在管道的任何一个阶段),同时处理数据流对后续数据的拉动,即应用程序是继续提取数据还是停止进程。
EN

回答 1

Stack Overflow用户

发布于 2020-08-21 15:20:38

  1. KinesisIO.Read在引擎盖下使用AWS从Kinesis读取,并定期检索Shard Iterator的更新,以便从Kinesis .

中获取记录

  1. 你试过ShardIteratorType#LATEST吗?

https://stackoverflow.com/a/62349838/10687325

  1. 见我的答案:

  1. ,如果它是未知异常,则管道将停止。
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/63518433

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档