有什么办法可以自动调节一个卡夫卡的连接集群吗？

Question

我正在尝试寻找是否有可能水平缩放一个strimzi kafka连接集群，以利用pod/节点自动标度，因为我有一个巨大波动的生产负载。

我尝试过将hpa配置应用到最终的kafka连接部署中，但随着新荚的启动和迅速死亡，它似乎与kafkaconnect副本定义相冲突。我假设有一些strimzi机制可以将部署大小与kafkaconnect清单同步，从而阻止hpa工作。

有人知道这是否可能吗？

Answer 1

你不能自动进行部署。您必须自动调整KafkaConnect自定义资源，该资源支持scale子资源，并定义副本的数量。

请记住，自动标号Kafka Connect并不是完全微不足道的：

您需要确保有足够的任务可以安排在新的partitions

• etc.

上，并且您的连接器支持使用多个任务

• 作为接收器连接器，您必须确保足够的

因此，在CPU利用率超过80%或诸如此类的情况下，添加更多的吊舱并不总是那么容易。