我试图找出是否有任何抵消消费者群体的水平以及。消费者抵消是在消费集团层面,还是在卡夫卡消费集团内部的个人消费者?
发布于 2020-10-19 11:42:10
在ConsumerGroup级别跟踪偏移量。
假设在一个ConsumerGroup中有4个使用者线程从一个主题中消耗4个分区。如果您现在停止所有4个线程,并且只重新启动一个具有相同组的单个线程,那么这个线程将知道所有4个线程在哪里停止使用,并在那里继续运行。
“您是说一个偏移量(基本上是一个共享的int/long值)将由一个消费者组中的所有使用者共享/更新?”
是的,这是正确的。请记住,主题的单个分区只能由组内的一个使用者线程读取。同一个ConsumerGroup的两个使用者线程永远不会同时使用单个主题分区。消费者群体的抵消存储在一个名为__consumer_offsets的内部卡夫卡主题中。在本主题中,您基本上有一个键/值对,其中键基本上是
主题内的
你的价值就是抵消。这个内部__consumer_offsets主题可供所有消费者使用,因此信息是共享的。
https://stackoverflow.com/questions/64426376
复制相似问题