让我们假设这样的场景:我有四个分区,一个消费者组有二十个消费者。因此,只有4个消费者将工作,16个消费者将处于饥饿模式。如何优化其他16个消费者,以便让每个消费者都能正常工作,或者我们如何优化这种情况?
发布于 2020-04-02 20:42:30
这是我们想要的行为。Kafka消费者保证给定分区中的每个记录都将按顺序使用;如果一个分区对于一个给定组有多个消费者,这将不再有效。
此外,消费者组可以通过主题上的任何给定分区保持对其进度的检查。如果同一组的多个消费者在竞争,记录偏移量将变得毫无意义。
我猜,当您启动应用程序的节点时,您可能希望调整使用者组的大小,但请记住,组中额外的使用者也会增加弹性(可能比您在本例中所期望的要多一点!)
https://stackoverflow.com/questions/60991347
复制相似问题