使用--引导服务器创建Kafka主题提供超时异常(kafka版本2.5)

Question

当尝试使用--bootstrap-server，创建主题时，我得到了异常“执行主题命令时的错误:超时等待节点”:-

kafka-topics --bootstrap-server localhost:9092 --topic boottopic --replication-factor 3 --partitions

但是，以下工作正常，使用--动物园管理员 :-

kafka-topics --zookeeper localhost:2181--topic boottopic --replication-factor 3 --partitions

我使用的是Kafka版本2.5，而且据了解，由于版本>2.2，所有的偏移量和元数据都存储在代理本身上。因此，在创建主题时，不需要连接到动物园管理员。

请帮助理解这种行为

注意-我已经设置了一个Zookeeper和Kafka broker集群，每个集群在一台机器上包含3个实例(用于开发)

Answer 1

老问题，但我会回答任何为了互联网的智慧。您可能设置了auth集，在使用--bootstrap-server时，还需要使用--command-config指定凭据

Answer 2

自版本>2.2以来，所有的.元数据存储在代理本身上。

假。主题元数据仍然存储在动物园管理员上，直到KIP-500完成为止。

但是，内部使用的AdminClient.createTopics()方法将从集群中的Controller节点委托给Zoo门将。

很难说是什么错误，但最常见的问题是卡夫卡没有运行，您已经启用了SSL，证书是错误的，或者listeners配置错误。

例如，在侦听器中，Cloudera Kafka安装的默认代理端口是6667，而不是9092。

，每个实例在一台机器上包含3个实例

在一台机器上运行3个实例不会提高弹性或性能，除非在该主板上有3个CPU和3个单独的HDD。

Answer 3

执行

主题命令时出错:超时等待节点“

从运行这些命令的位置看，您的代理似乎已经关闭或无法访问，或者它还没有启动(也许还在启动)。

有时候，代理启动需要很长时间，因为它执行一些清理操作。您可能想检查一下Kafka broker的启动日志，看看它是否准备好了，然后尝试通过提供引导服务器来创建主题。

在您的Kafka启动过程中也可能会出现一些错误，例如打开太多文件或错误的动物园管理员url、动物园管理员无法被您的代理访问，举几个例子。

如果您能够通过传递您的动物园管理员创建主题，URL意味着动物园管理员已经启动，但并不一定意味着您的Kafka代理也在启动和运行。

因为动物园管理员可以在没有经纪人的情况下开始，反之亦然。