Kafka消费者和生产者抛出错误

Question

我尝试在Kafka-consumer中传递单词时出现以下错误，我输入的命令

console-1：(用于生产者)

    export PATH=$PATH:/usr/hdp/current/kafka-broker/bin

kafka-topics.sh --create --zookeeper ip-172-31-20-58.ec2.internal:2181 --replication-factor 1 --partitions 1 --topic testuday1234

kafka-console-producer.sh --broker-list ip-172-31-20-58.ec2.internal:6667 --topic testuday1234

console-2：(面向消费者)

export PATH=$PATH:/usr/hdp/current/kafka-broker/bin
kafka-console-consumer.sh --zookeeper localhost:2181 --topic testuday1234 --from-beginning

请帮助我解决这些错误

进入生产者控制台时出错：

[udaychitukula6587@ip-172-31-38-183 ~]$ kafka-console-producer.sh --broker-list ip-172-31-20-58.ec2.internal:6667 --topic testuday1234
hi
[2018-05-28 15:27:36,761] WARN Error while fetching metadata [{TopicMetadata for topic testuday1234 ->
No partition metadata for topic testuday1234 due to kafka.common.LeaderNotAvailableException}] for topic [testuday1234]: class kafka.common.LeaderNotAvailableExcep
tion (kafka.producer.BrokerPartitionInfo)
[2018-05-28 15:27:36,774] WARN Error while fetching metadata [{TopicMetadata for topic testuday1234 ->
No partition metadata for topic testuday1234 due to kafka.common.LeaderNotAvailableException}] for topic [testuday1234]: class kafka.common.LeaderNotAvailableExcep
tion (kafka.producer.BrokerPartitionInfo)

进入消费者控制台时出错：

[udaychitukula6587@ip-172-31-38-183 ~]$ kafka-console-consumer.sh --zookeeper localhost:2181 --topic testuday123 --from-beginning
{metadata.broker.list=ip-172-31-20-58.ec2.internal:6667,ip-172-31-53-48.ec2.internal:6667,ip-172-31-60-179.ec2.internal:6667, request.timeout.ms=30000, client.id=c
onsole-consumer-63526, security.protocol=PLAINTEXT}
{metadata.broker.list=ip-172-31-20-58.ec2.internal:6667,ip-172-31-53-48.ec2.internal:6667,ip-172-31-60-179.ec2.internal:6667, request.timeout.ms=30000, client.id=c
onsole-consumer-63526, security.protocol=PLAINTEXT}

Answer 1

我在这里注意到了几件事。

对于第一个，在新版本(我认为是从0.10.1开始)的Kafka中，我们需要使用--bootstrap-server选项，而不是--zookeeper。您能确认一下您正在使用的版本吗？并尝试运行带有--bootstrap-server选项的消费者命令？

1. Kafka集群的领导者是由zookeeper选举出来的，因此可能值得通过运行zookeeper-client shell来检查Kafka集群中是否有活动的控制器(在znode path - Kafka-topics --describe --topic中运行Kafka-topics --describe --topic命令来查看主题是否有活动的领导者分区，即命令输出中的Leader列不应该具有None。我以前也遇到过这个问题。
2. 最后一个问题是关于broker的端口号，您能检查并确认broker是否真的在监听那个端口吗？您可以在代理上的server.properties文件中找到此信息(listeners和advertised.listeners)。当用户在端口6667上遇到问题时，我发现this post非常有用。

我希望这能帮到你!