如何连接内部Kafka集群

Question

我正在尝试连接到Kafka集群。

测试命令为：

bin/kafka-console-consumer.sh --bootstrap-server 59.221.101.29:19092 --topic demo_topic

我可以通过telnet访问公网静态IP和端口。但是，连接例外情况是：

[2020-03-03 16:53:53,784] WARN [Consumer clientId=consumer-console-consumer-11138-1, groupId=console-consumer-11138] Connection to node 1 (/10.0.0.98:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-03-03 16:56:01,015] WARN [Consumer clientId=consumer-console-consumer-11138-1, groupId=console-consumer-11138] Connection to node 2 (/10.0.0.99:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2020-03-03 16:58:08,248] WARN [Consumer clientId=consumer-console-consumer-11138-1, groupId=console-consumer-11138] Connection to node 3 (/10.0.0.17:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

IP和端口都会更改。似乎我连接的公网IP和Kafka集群的内部IP之间存在映射关系。

如何解决这个问题？任何帮助都是非常感谢的。

Answer 1

您的情况与此非常相似：

​

​

因此，要访问Kafka集群，必须访问advertised.listeners指定的地址(在您的示例中为10.0.0.98:9092，10.0.0.99:9092，10.0.0.17:9092 )。

图片参考：https://www.udemy.com/course/kafka-cluster-setup/

Answer 2

您将得到的是在每个代理上定义的返回的通告监听器

Bootstrapping只需要一个地址，但它将返回已知地址的完整列表，这取决于您连接到的端口。

也就是说，您需要与集群管理员沟通，以确定允许哪些网络访问您的Kafka集群