我设法在带有@KafkaListener注释的方法中获得了主题/分区/偏移量,但是我如何使用这些数据来实现恰好只使用一次的消费者逻辑?
我正在使用设置为concurrenc=4的ConcurrentKafkaListenerContainerFactory,并将AckMode设置为MANUAL。我目前的方法是使用redis去重:我使用topic:partition作为redis key,offset作为它的值,然后将即将到来的偏移量与redis中的值进行比较,如果偏移量比redis中的值新(大于),则继续执行业务逻辑,否则我会忽略该消息。最后提交偏移量(ack.acknowledge())
但是这种方式不起作用,例如,如果重新平衡发生在ack.acknowledge()完成之前,那么它就会出现这个错误:org.apache.kafka.clients.consumer.CommitFailedException,
再平衡后,原分区被分配给另一个线程,导致同一条消息被消费两次。
因此,简而言之,如何设计一种逻辑,使每个kafka消息只传递一次?
https://stackoverflow.com/questions/44362563
复制相似问题