消费者不接收消息，kafka控制台，新消费者api，Kafka 0.9

Question

我正在为Kafka 0.9.0.0做Kafka Quickstart。

我让动物园管理员在localhost:2181听，因为我跑了

bin/zookeeper-server-start.sh config/zookeeper.properties

我在localhost:9092有一个经纪人在听，因为我跑了

bin/kafka-server-start.sh config/server.properties

我有一个制作人发到主题为“测试”，因为我运行

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
yello
is this thing on?
let's try another
gimme more

当我运行旧的API使用者时，它通过运行

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

但是，当我运行新的API使用者时，当我运行

bin/kafka-console-consumer.sh --new-consumer --topic test --from-beginning \
    --bootstrap-server localhost:9092

是否可以使用新的api从控制台使用者订阅主题？我怎么才能修好它？

Answer 1

我的MAC框也面临着同样的问题--当使用命令时，使用者不消耗任何消息。

kafka-console-consumer --bootstrap-server localhost:9095 --from-beginning --topic my-replicated-topic

但当我试着

kafka-console-consumer --bootstrap-server localhost:9095 --from-beginning --topic my-replicated-topic --partition 0

它很高兴地列出了发送的消息。这是卡夫卡1.10.11中的一个错误吗？

Answer 2

我刚刚遇到了这个问题，解决方案是删除动物园管理员中的/brokers并重新启动kafka节点。

bin/zookeeper-shell <zk-host>:2181

然后

rmr /brokers

不知道为什么这能解决这个问题。

当我启用调试日志时，我在使用者中一次又一次地看到此错误消息：

2017-07-07 01:20:12 DEBUG AbstractCoordinator:548 - Sending GroupCoordinator request for group test to broker xx.xx.xx.xx:9092 (id: 1007 rack: null) 2017-07-07 01:20:12 DEBUG AbstractCoordinator:559 - Received GroupCoordinator response ClientResponse(receivedTimeMs=1499390412231, latencyMs=84, disconnected=false, requestHeader={api_key=10,api_version=0,correlation_id=13,client_id=consumer-1}, responseBody={error_code=15,coordinator={node_id=-1,host=,port=-1}}) for group test 2017-07-07 01:20:12 DEBUG AbstractCoordinator:581 - Group coordinator lookup for group test failed: The group coordinator is not available. 2017-07-07 01:20:12 DEBUG AbstractCoordinator:215 - Coordinator discovery failed for group test, refreshing metadata

Answer 3

对我来说，这个线程中描述的解决方案奏效了- https://stackoverflow.com/a/51540528/7568227。

检查是否

offsets.topic.replication.factor

(或者可能是其他与复制相关的配置参数)不高于代理的数量。这就是我的问题所在。

在此修复之后，不需要再使用--分区0。

否则，我建议遵循上述线程中描述的调试过程。