场景:TKE 托管集群,Kubernetes 1.28,Spring Boot(JDK 17)网关服务,常态 20 副本,requests.cpu 1 核、limits.cpu 2 核。HPA 使用 autoscaling/v2,CPU 目标利用率 60%,minReplicas 20、maxReplicas 60。发布为 RollingUpdate,maxSurge 25%、maxUnavailable 0,readinessProbe 的 initialDelaySeconds 为 20。
现象:
- 平时平均 CPU 利用率约 40%,副本数稳定在 20。
- 每次滚动发布,新 Pod 启动后 1 到 2 分钟内 CPU 用到 150% 到 200%(类加载和 JIT),HPA 看到的平均利用率超过 100%,副本数被拉到 30 多,并触发节点扩容。
- 发布结束后流量没变,多出的副本要很久才缩回 20。
已尝试:
- behavior.scaleUp 加 stabilizationWindowSeconds: 120,峰值缩短了,但仍多出十来个副本,真实突发流量时扩容也变慢。
- readinessProbe 的 initialDelaySeconds 从 20 调到 90,误扩容变少但没有消失,发布时间也变长。
- scaleUp 加 policies,每 60 秒最多加 4 个 Pod,只限制了速度,总量依旧偏多。
- 托管集群改不了 kube-controller-manager 的启动参数。
问题:
- 新 Pod 启动期的 CPU 为什么仍会进入 HPA 的平均值?readiness 延迟与 HPA 对未就绪 Pod 的处理是什么关系,怎样验证 HPA 实际采用了哪些 Pod 的指标?
- 在托管集群里,应从应用侧(预热)、HPA 侧(behavior、指标)还是发布侧(分批、暂停 HPA)处理,各自风险是什么?
- 改用 QPS 这类自定义指标能否避开启动期干扰,还要注意什么?