如何使用Kafka从码头生产/消费数据？

Question

我见过很多问题和话题，但都与卡夫卡容器的创作和对接有关。但是我有一个namenode和3个datanode容器系统。我有两个与码头集装箱有关的港口，一个是8088，另一个是50070。我想用卡夫卡把数据从本地发送到码头。但对我来说，我需要用8088或50070发送数据。但我不知道该怎么做。我编辑了

advertised.listeners=SASL_PLAINTEXT://localhost:8088，侦听器=SASL_明文://0.0.0.0:8088，明文://0.0.0:9092

明文://localhost:9092 security.inter.broker.protocol=SASL_PLAINTEXT

在server.properties中，但是它不起作用。我正在尝试这样做:我在Docker中创建了一个名为test的主题。我在码头给它发了一些数据。在本地，我尝试使用--引导服务器本地主机:8088来使用来自主题的数据，但是它会产生错误。谢谢。

Answer 1

有一个名称节点和3个datanode容器系统

这些都不是卡夫卡服务，码头与问题无关。

如果您想在这些端口上向Hadoop datanodes发送数据，您需要使用Kafka，或者从上可以使用Spark、Flink等。

如果所有的服务都在容器中运行，那么编写或者您的主机也不是完全相关的。

您可以使用桥接网络- https://docs.docker.com/network/bridge/

我需要用8088或50070发送数据。

端口并不重要，但您确实应该考虑将Kafka端口作为缺省值。

但是，您必须正确地从主机转发侦听器端口-p 8088:8088，并且必须在与--bootstrap-server localhost:8088一起使用的任何命令中设置必要的SASL属性，该命令应同时从容器中的主机和(这是首先调试问题的位置)进行操作。