如何通过shopify sarama的补偿来处理消费者恢复

Question

我读到kafka提供了一个消费者客户端库，允许通过将最后一个偏移量读取保存在zookeeper中进行恢复(不是100%确定它存储在哪里)。

是否有可能对Sarama消费者做同样的事情？

假设我在读到偏移量550，我的消费者崩溃了5分钟，我们现在是偏移量700，但我想从偏移量550继续消费。

有没有可能不需要自己去拯救国家呢？我会假设它是这样的，但我不明白是怎么做到的。

我找到了sarama.OffsetNewest/Oldest但那不是我要找的..。

Answer 1

Kafka用户过去在Zookeeper中存储偏移量，但现在他们直接在Kafka中存储它们。请参阅卡夫卡文档中的Consumer section。

Sarama处理得很好，默认情况下，Sarama消费者将在Kafka中提交(存储)偏移量。

看看Sarama Consumer example吧。最初，此示例从主题的末尾开始，但在重新启动时，它将从最后一个位置重新启动。