Prometheus中的嵌套警报查询

Question

是否可以在prometheus警报中添加嵌套查询？我正在使用prometheus来监控kubernetes集群。

如果节点关闭，就会生成警报，但我想配置警报，这样如果任何节点关闭，prometheus就不会为运行在该节点上的pods和服务发送警报。

就像这样，

if(pod_down)
  if(corresponding_node_down)
    //dont send alert
    //node down alert is in firing state

Answer 1

如果一个节点宕机，那么Kubernetes应该自动处理，并将服务转移到其他地方。因此，像这样的警报并不是很有用。

我建议你在出现用户可见的症状时发出警报，比如高延迟和错误率，而不是单独的原因，比如机器或容器停机。

Answer 2

抑制

看一下这个Prometheus Alertmanager配置。

链接：prometheus.io/docs/alerting/configuration/#inhibit_rule

抑制是一个概念，用于在某些其他警报已经触发时抑制某些警报的通知。

示例:触发警报，通知无法访问整个集群。可以将Alertmanager配置为在触发特定警报时将与此群集相关的所有其他警报静音。这可以防止通知数百或数千个与实际问题无关的触发警报。

参考：https://prometheus.io/docs/alerting/alertmanager