限制kafka主题分区只分布在代理的部分上

Question

对于多租户kafka集群，我想控制指定kakfa代理上的主题分区分布。例如，主题-A可以在broker-1，broker-2上；主题-B可以在broker-3，broker-4上。

卡夫卡有这样的机制吗？例如，我们能否为代理和主题设置一个标记，只有具有相同标记的主题才能放在代理上。

Answer 1

是的，这是如何配置主题的一部分。来自文档

日志的分区分布在Kafka集群中的服务器上，每个服务器处理数据和分区共享请求。为了容错，每个分区都在可配置的多个服务器上进行复制。 每个分区有一个服务器充当“领导者”，零个或多个服务器充当“追随者”。领导者处理分区的所有读写请求，而跟随者则被动地复制领导。如果领导失败，其中一个追随者将自动成为新的领导。每个服务器都充当一些分区的领导者和其他分区的跟随者，因此负载在集群中是很好的平衡。

您可以指定分区和副本的数量，或者指定分区/副本的位置。

#non manual assignment example
bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic topic1 --replication-factor 2 --partitions 123

来自复制工具

# Create topic with manual replica assignment
bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic topic1 --replica-assignment 0:1:2,0:1:2,0:1:2