为Kafka Connect消费群申请配额

Question

我让Kafka Connect JDBC接收器连接器写入不同的数据库，我想限制到一个数据库的流量。Kafka quotas功能可以为客户端ID设置consumer_byte_rate配额，但Kafka Connect客户端ID看起来像consumer-1234，并动态分配给连接器。因此，如果我的接收器连接器被重新平衡，它将被分配所有新的客户端ID。我尝试使用我的接收器连接器使用者组ID作为客户端ID来设置配额，但不起作用。有没有办法给Kafka Connect消费群设置配额？

Answer 1

如果你升级到Apache Kafka 2.3，你将从KIP-411: Make default Kafka Connect worker task client IDs distinct 中获益。您可以在操作here中看到它的一个示例。但是，您必须测试client-id是否是确定性的，因为配额不能是通配符。