kafka集群支持多少流

Question

我们如何检查有3个节点的Kafka群集支持多少个流

我的项目是与视频相关的，我正在使用Kafka以元数据的形式将视频从源传输到目标。也就是说，我正在对视频做一些处理，然后形成元数据，然后通过主题“测试主题”使用Kafka-Producer应用编程接口将这些数据发送到Kafka。我是一个消费者类，它接受数据(元数据)并进行一些处理。像这样，我已经实现了3个Kafka processors。我为不同类型的输入运行每个进程6次，所以我总共有18个处理器。但在这里，我的疑问与Kafka处理器无关。我的怀疑与Kafka-Cluster有关。流是如何与kafka集群相关的，有没有办法知道kafka cluster支持的流的数量。

Answer 1

这在很大程度上取决于您的应用程序正在做什么，吞吐量等等。以下是一些帮助您的常规资源：

• Elastic Scaling in the Streams API in Kafka
• Kafka Streams Capacity planning and sizing

有关Kafka集群的一般部署规模，请参阅Enterprise Reference Architecture