Kafka mirror maker无法正常工作

Question

我正面临一个奇怪的问题，我的镜像生成器能够镜像目标集群中的主题名称，但当我尝试使用来自它的消息时，我看不到任何消息。下面是我的配置文件-

producer.config

bootstrap.servers=dest_broker_ip:9092,dest_broker_ip:9092
acks=1
batch.size=100
max.in.flight.requests.per.connection=1
retries=1000000
client.id=mirror_maker_producer

consumer.config

bootstrap.servers=source_broker_ip:9092,source_broker_ip:9092,source_broker_ip:9092    
exclude.internal.topics=true
group.id=test-consumer-group_3
client.id=mirror_maker_consumer

然后我使用以下命令启动我的mirror maker

bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config config/consumer.config --producer.config config/producer.config --whitelist=".*"

一旦启动了mirror maker，我就会转到我的源集群，并使用以下命令创建一个主题和一些消息

bin/kafka-verifiable-producer.sh --topic u39 --max-messages 2000 --broker-list 10.******:9092

这将创建一个主题u39，并将2000条消息推送到它。现在，如果我在相同的源群集上运行使用者，我就能够使用确认消息是在源群集上生成的消息

我现在转到我的目标群集并尝试使用相同的名称创建一个主题，即u39。这将返回一个错误，指出主题已存在，这确认mirror maker已将该主题从源群集复制到目标群集，但当我尝试使用以下命令在目标群集上使用消息时

bin/kafka-console-consumer.sh --zookeeper 10.200.14.117:2181 --topic u39 --from-beginning

我没看到任何消息。不确定哪里出了问题，非常感谢您的帮助/指导。

更新1-我正在使用Kafka 1.0.0

更新2-两个集群完全隔离，设置在AWS上，一个集群在east-1，另一个在west-2。同样，我能够单独地在两个集群上生成和使用消息。

Answer 1

我认为您混合了来自不同版本的控制台使用者的语法。缺省值现在应该是新的使用者，并且新的使用者将需要引导服务器而不是ZooKeeper。

尝试：

kafka-console-consumer.sh --bootstrap-server 10.******:9092 --topic u39 --from-beginning