IoT -多个Kafka生产者将消息发布到同一主题

Question

我正在尝试开发一个基于IoT的应用程序，其中多个设备将生成数据并将其发送到Kafka broker。这些设备的数量可能在6万到7万左右。

可以有5-10种不同的设备类型，但是，每种类型的设备数量将以千为单位，例如每个设备数量为20-4万。

我想了解Kafka主题的用法，它应该支持这么多设备(平均20-4万台设备)。

另外，请让我知道这类应用程序是否需要基于MQTT的实现。

提前谢谢你，

阿维纳什·德什穆克

Answer 1

分区的数量主要影响消费者端，因为它是读取消息的并行单位。在生产者端，考虑到因为每个领导者分区都由一个代理托管，所以生产者必须连接到不同的代理以写入不同的分区，因此将需要多个TCP连接。

关于MQTT，这意味着您必须运行MQTT代理，然后使用相关的MQTT连接器进行Kafka连接。这将取决于您拥有的设备类型。MQTT协议最适合嵌入式/IoT设备作为轻量级协议，因此对于低功耗设备，它可能比在设备堆栈上使用Kafka协议更有意义。但这也可能取决于您是否在边缘使用IoT网关，从现场的多个设备收集消息，然后发送到Kafka。

Answer 2

我想了解Kafka主题的用法，它应该支持这么多设备(平均两万到四万台设备)。

老实说，我不明白这个问题。您是在询问主题大小吗？分区的数量？等。您的设备会直接访问Kafka集群吗？

另外，请让我知道这类应用程序是否需要基于

的实现。

Apache Kafka本身不支持MQTT。你是在谈论任何一种商业解决方案吗？