首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >kafka如何使用topic/partition/offset实现只需一次的消息传递逻辑

问kafka如何使用topic/partition/offset实现只需一次的消息传递逻辑
EN

Stack Overflow用户
提问于 2017-06-05 13:58:15
回答 0查看 1.3K关注 0票数 1

我设法在带有@KafkaListener注释的方法中获得了主题/分区/偏移量,但是我如何使用这些数据来实现恰好只使用一次的消费者逻辑?

我正在使用设置为concurrenc=4的ConcurrentKafkaListenerContainerFactory,并将AckMode设置为MANUAL。我目前的方法是使用redis去重:我使用topic:partition作为redis key,offset作为它的值,然后将即将到来的偏移量与redis中的值进行比较,如果偏移量比redis中的值新(大于),则继续执行业务逻辑,否则我会忽略该消息。最后提交偏移量(ack.acknowledge())

但是这种方式不起作用,例如,如果重新平衡发生在ack.acknowledge()完成之前,那么它就会出现这个错误:org.apache.kafka.clients.consumer.CommitFailedException,

再平衡后,原分区被分配给另一个线程,导致同一条消息被消费两次。

因此,简而言之,如何设计一种逻辑,使每个kafka消息只传递一次?

EN

回答

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44362563

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档