Kafka集群云上迁移，当offsets由我们管理时，如何确保消费者从正确的offsets消费？

Question

对于Kafka集群从AWS到AZURE的迁移，挑战在于我们正在为消费者使用我们的自定义偏移量管理。如果我复制带有偏移量的ZK节点，Kafka Mirror将更改这些偏移量。有没有办法确保偏移量相同，以便迁移可以顺利进行？

Answer 1

我认为问题可能出在您的自定义管理上。在没有更多细节的情况下，很难给出建议。

我看到的试图复制偏移量的问题是，你从集群A消费，主题T偏移量1000。你把它复制到一个全新的集群B中，你现在就有了主题T，offset 0。在这种情况下，让消费者从偏移量1000开始将会失败，或者如果镜像了至少1000条消息，那么您实际上是在跳过该数据。

对于更新版本的Kafka (post 0.10)，MirrorMaker使用的是__consumer_offsets主题，而不是Zookeeper，因为它是构建在较新的Java客户端上的。

至于复制工具，uber/uReplicator使用ZooKeeper进行偏移。

还有其他工具以不同的方式管理偏移量，例如通过Kafka连接框架的Comcast/MirrorTool或salesforce/mirus。

企业支持的工具是Confluent Replicator，它具有处理群集故障切换和迁移的独特方式。