从Kafka客户端增加Kafka主题中的分区数

Question

我是Apache的新用户，我还在了解内部信息。

在我的用例中，我需要从Kafka生产者客户端动态增加主题的分区数。

在增加分区大小方面，我发现了其他类似的问题，但它们使用的是动物园管理员配置。但是我的kafkaProducer只有卡夫卡代理配置，但没有动物园管理员配置。

是否有任何方法可以从生产者端增加主题的分区数？我在运行卡夫卡0.10.0.0版。

Answer 1

卡夫卡0.10.0.1 (最新版本)：正如Manav所说，不可能增加来自Producer客户端的分区数量。

展望未来(下一个版本)：在即将发布的Kafka版本中，客户端将能够执行一些主题管理操作，如基普-4中所概述的那样。KIP-4的许多功能已经在卡夫卡的trunk中完成并可用；到目前为止，trunk中的代码允许客户端创建和删除主题。但是不幸的是，对于您的用例来说，增加分区的数量仍然是不可能的--这是KIP-4的范围(参见更改主题请求)，但尚未完成。

TL;DR: Kafka的下一个版本将允许您增加Kafka主题的分区数，但是这个功能还没有实现。

Answer 2

无法增加生产者客户端的分区数。任何特定的用例使用为什么不能使用代理来实现这一点？

但是我的kafkaProducer只有卡夫卡代理配置，但没有动物园管理员配置。

我不认为任何客户端会允许您更改代理配置。您只能最大限度地访问(读取)服务器端配置。

Answer 3

您的生产者可以为ProducerRecord提供不同的密钥，代理会将它们放在不同的分区中。例如，如果您需要两个分区，请使用键"abc“和"xyz”。

这也可以在0.9版中完成。