我们希望我们所有的卡夫卡消费者都能收到卡夫卡(来自所有分区)的所有信息,因此我们正在从每台机器上动态生成一个独特的group.id。如果我们有任何新的机器加入,那么新机器也将有新的group.id,所以这个逻辑工作,我们所有的卡夫卡消费者(机器)从卡夫卡集群获得所有的数据。
现在我的困惑是-
使用这种方法确保我们不会丢失任何数据的最佳方法是什么?
发布于 2021-02-22 18:52:02
问:这种方法有什么缺点,我们可能会丢失数据吗?
和-有多个卡夫卡消费者没有缺点。您需要设置设置,以便不会丢失任何数据。您可以参考本文,其中描述了我们可能丢失数据的情况,以及哪些设置可以帮助我们避免这种情况:https://blog.softwaremill.com/help-kafka-ate-my-data-ae2e5d3e6576
问:如果我们采用这种方法,我们应该如何进行抵消?我们应该启用自动提交偏移量为true,还是应该在处理数据之后手动提交?另外,让所有机器(使用者)在独立于其他机器处理数据后手动提交偏移是否可以,或者这会导致任何问题?
Ans -如果您不希望在处理数据和重新读取数据再次处理过程中出现任何故障时丢失数据,则应该使用手动设置偏移量,因为如果自动提交偏移量可能会导致在处理部分数据时进程死亡时丢失一些数据。
此外,请参考下面的博客,其中详细阐述了如何丢失卡夫卡数据的所有情况:https://jack-vanlightly.com/blog/2018/9/14/how-to-lose-messages-on-a-kafka-cluster-part1 https://jack-vanlightly.com/blog/2018/9/18/how-to-lose-messages-on-a-kafka-cluster-part-2。
https://stackoverflow.com/questions/66321322
复制相似问题