首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何为卡夫卡独特的消费者提供补偿?

问如何为卡夫卡独特的消费者提供补偿?
EN

Stack Overflow用户
提问于 2021-02-22 18:24:40
回答 1查看 313关注 0票数 0

我们希望我们所有的卡夫卡消费者都能收到卡夫卡(来自所有分区)的所有信息,因此我们正在从每台机器上动态生成一个独特的group.id。如果我们有任何新的机器加入,那么新机器也将有新的group.id,所以这个逻辑工作,我们所有的卡夫卡消费者(机器)从卡夫卡集群获得所有的数据。

现在我的困惑是-

  • 这种方法有什么缺点吗?如果我们采用这种方法,我们应该如何提交偏移量?我们应该启用自动提交偏移量为true,还是应该在处理数据之后手动提交?如果我们手动提交偏移量,那么一旦所有机器(使用者)独立于其他机器处理数据,或者只有一台机器在每个人处理完数据后才应该提交偏移量,那么让所有机器(使用者)手动提交偏移量是否可以呢?
  • ,我还需要为这种方法担心什么,我应该确保吗?

使用这种方法确保我们不会丢失任何数据的最佳方法是什么?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-02-22 18:52:02

问:这种方法有什么缺点,我们可能会丢失数据吗?

和-有多个卡夫卡消费者没有缺点。您需要设置设置,以便不会丢失任何数据。您可以参考本文,其中描述了我们可能丢失数据的情况,以及哪些设置可以帮助我们避免这种情况:https://blog.softwaremill.com/help-kafka-ate-my-data-ae2e5d3e6576

问:如果我们采用这种方法,我们应该如何进行抵消?我们应该启用自动提交偏移量为true,还是应该在处理数据之后手动提交?另外,让所有机器(使用者)在独立于其他机器处理数据后手动提交偏移是否可以,或者这会导致任何问题?

Ans -如果您不希望在处理数据和重新读取数据再次处理过程中出现任何故障时丢失数据,则应该使用手动设置偏移量,因为如果自动提交偏移量可能会导致在处理部分数据时进程死亡时丢失一些数据。

此外,请参考下面的博客,其中详细阐述了如何丢失卡夫卡数据的所有情况:https://jack-vanlightly.com/blog/2018/9/14/how-to-lose-messages-on-a-kafka-cluster-part1 https://jack-vanlightly.com/blog/2018/9/18/how-to-lose-messages-on-a-kafka-cluster-part-2。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66321322

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档