在本地Kubernetes集群中使用Kafka Exporter的HPA

Question

我一直在尝试使用Kafka-exporter的Metrics来实现Kubernetes HPA。Hpa支持普罗米修斯，因此我们尝试将指标写入普罗米修斯实例。从那时起，我们还不清楚要做的步骤。有没有详细解释的文章？

我跟踪了https://medium.com/google-cloud/kubernetes-hpa-autoscaling-with-kafka-metrics-88a671497f07

在GCP中也是如此，我们使用了堆栈驱动程序，其实现非常出色。但是，我们在内部设置中苦苦挣扎，因为堆栈驱动程序需要由普罗米修斯取代

Answer 1

为了基于自定义指标进行扩展，Kubernetes需要查询指标的API来检查这些指标。该API需要实现自定义指标接口。

因此，对于Prometheus，您需要设置一个API，通过自定义指标API公开Prometheus指标。幸运的是，已经有了一个adapter。

Answer 2

当我使用Kafka-exporter的Metrics实现Kubernetes HPA时，我遇到了一些挫折，我通过以下方式解决了这些问题：

1. 我将kafka-exporter容器部署为我想要扩展的pod的侧车。我发现HPA会对从中获取指标的pod进行缩放。
2. 我使用annotations让普罗米修斯从exporter的pods中抓取指标。
3. 然后我验证了kafka-exporter指标正在到达普罗米修斯。如果它不在那里，你就不能继续前进。
4. 我使用它的helm chart部署了prometheus adapter。适配器会将普罗米修斯的指标“转换”为自定义指标Api，这将使其对hpa可见。
5. 我通过从其中一个主节点执行kubectl get --raw /apis/custom.metrics.k8s.io/v1beta1，确保指标在k8s中可见。
6. I创建了一个具有匹配指标名称的hpa。

下面是解释how to implement Kubernetes HPA using Metrics from Kafka-exporter的完整指南

如果您有更多的问题，请留言