## 前言

Prometheus 评估告警规则后触发告警，但怎么发、发给谁、怎么避免告警风暴，这些是 Alertmanager 的职责。本篇详解 Alertmanager 的路由、分组、抑制、静默四大核心功能。

---

## 一、Alertmanager 架构

```
Prometheus Server
  ├── 评估 Alerting Rules
  └── 触发的告警 → 发送给 Alertmanager
                      │
                      ▼
              ┌───────────────┐
              │  Alertmanager  │
              │                │
              │  1. 去重       │ ← 相同告警合并
              │  2. 分组       │ ← 同类告警打包
              │  3. 路由       │ ← 按标签分发到不同渠道
              │  4. 抑制       │ ← 高级告警抑制低级告警
              │  5. 静默       │ ← 维护期间不告警
              │  6. 重试       │ ← 发送失败自动重试
              └───────┬───────┘
                      │
        ┌─────────────┼─────────────┐
        ▼             ▼             ▼
   Slack/钉钉      邮件          Webhook
```

---

## 二、安装部署

### 二进制

```bash
wget https://github.com/prometheus/alertmanager/releases/download/v0.27.0/alertmanager-0.27.0.linux-amd64.tar.gz
tar xzf alertmanager-0.27.0.linux-amd64.tar.gz
cd alertmanager-0.27.0.linux-amd64
sudo cp alertmanager amtool /usr/local/bin/
sudo mkdir -p /etc/alertmanager /data/alertmanager
```

### Systemd

```ini
# /etc/systemd/system/alertmanager.service
[Unit]
Description=Alertmanager
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/alertmanager \
  --config.file=/etc/alertmanager/alertmanager.yml \
  --storage.path=/data/alertmanager \
  --web.listen-address=0.0.0.0:9093 \
  --cluster.listen-address=0.0.0.0:9094
Restart=on-failure

[Install]
WantedBy=multi-user.target
```

### 高可用集群

```bash
# 节点 1
alertmanager \
  --config.file=alertmanager.yml \
  --cluster.listen-address=0.0.0.0:9094 \
  --cluster.peer=am-2:9094 \
  --cluster.peer=am-3:9094

# 节点 2
alertmanager \
  --config.file=alertmanager.yml \
  --cluster.listen-address=0.0.0.0:9094 \
  --cluster.peer=am-1:9094 \
  --cluster.peer=am-3:9094

# 节点 3
alertmanager \
  --config.file=alertmanager.yml \
  --cluster.listen-address=0.0.0.0:9094 \
  --cluster.peer=am-1:9094 \
  --cluster.peer=am-2:9094
```

---

## 三、配置文件详解

```yaml
# alertmanager.yml
global:
  resolve_timeout: 5m          # 告警恢复后的等待时间
  # SMTP 邮件配置
  smtp_smarthost: 'smtp.example.com:587'
  smtp_from: 'alertmanager@example.com'
  smtp_auth_username: 'alertmanager@example.com'
  smtp_auth_password: 'password'
  smtp_require_tls: true
  # Slack
  slack_api_url: 'https://hooks.slack.com/services/xxx'

# 模板
templates:
  - '/etc/alertmanager/templates/*.tmpl'

# 路由（树形结构）
route:
  group_by: ['alertname', 'cluster', 'severity']
  group_wait: 30s          # 同组首次告警等待时间
  group_interval: 5m       # 同组后续告警间隔
  repeat_interval: 4h     # 重复发送间隔
  receiver: 'default'      # 默认接收者
  
  # 子路由
  routes:
    # 严重告警 → 钉钉 + 电话
    - matchers:
        - severity="critical"
      receiver: 'dingtalk-critical'
      group_wait: 10s
      repeat_interval: 1h
      
      # 子路由
      routes:
        - matchers:
            - service="payment"
          receiver: 'payment-team'
    
    # 警告告警 → 钉钉
    - matchers:
        - severity="warning"
      receiver: 'dingtalk-warning'
      repeat_interval: 4h
    
    # 信息告警 → 邮件
    - matchers:
        - severity="info"
      receiver: 'email'
      repeat_interval: 24h

# 接收者
receivers:
  - name: 'default'
    webhook_configs:
      - url: 'http://dingtalk-webhook/alert'
        send_resolved: true
    
  - name: 'dingtalk-critical'
    webhook_configs:
      - url: 'http://dingtalk-webhook/critical'
        send_resolved: true
    
  - name: 'dingtalk-warning'
    webhook_configs:
      - url: 'http://dingtalk-webhook/warning'
        send_resolved: true
    
  - name: 'email'
    email_configs:
      - to: 'ops-team@example.com'
        send_resolved: true
    
  - name: 'payment-team'
    webhook_configs:
      - url: 'http://payment-dingtalk/alert'
        send_resolved: true

# 抑制规则
inhibit_rules:
  # 严重告警抑制同服务警告告警
  - source_matchers:
      - severity="critical"
    target_matchers:
      - severity="warning"
    equal: ['cluster', 'service']
  
  # 集群宕机抑制所有该集群告警
  - source_matchers:
      - alertname="ClusterDown"
    target_matchers:
      - cluster=~".+"
    equal: ['cluster']
```

### 配置验证

```bash
amtool check-config /etc/alertmanager/alertmanager.yml
# Checking 'alertmanager.yml'
# SUCCESS: 5 rules found
```

---

## 四、告警分组详解

### 分组机制

```
不分组：
  10:00:00  instance=node1  CPU > 90%
  10:00:05  instance=node2  CPU > 90%
  10:00:10  instance=node3  CPU > 90%
  → 3 条独立通知

分组后（group_by: ['alertname']）：
  10:00:00  CPU > 90% (3 个实例)
  → 1 条通知（含 3 个实例信息）
```

### 分组参数

```yaml
route:
  group_by: ['alertname', 'cluster', 'severity']
  group_wait: 30s       # 首次等待：收到第一条告警后等 30s，收齐同组告警
  group_interval: 5m    # 同组后续：第二批告警至少间隔 5 分钟
  repeat_interval: 4h   # 重复发送：未恢复的告警每 4 小时再发一次
```

```
时间线：
  t=0    第一条告警进入，group_wait 30s
  t=30s  发送第一批（3条），之后 group_interval 5m
  t=2m   新增告警，不立即发，等 group_interval 到期
  t=5m   发送第二批（新增告警）
  t=4h   重复发送第一批（仍未恢复）
```

---

## 五、路由匹配

### matchers 语法

```yaml
# 精确匹配
matchers:
  - severity="critical"

# 正则匹配
matchers:
  - service=~"payment|order"

# 不匹配
matchers:
  - severity!="info"

# 存在
matchers:
  - cluster

# 不存在
matchers:
  - !cluster
```

### 路由树示例

```yaml
route:
  receiver: 'default'
  routes:
    # 第一层：按环境分发
    - matchers: ['env="production"']
      receiver: 'prod-default'
      routes:
        # 第二层：按严重程度
        - matchers: ['severity="critical"']
          receiver: 'prod-critical'
        - matchers: ['severity="warning"']
          receiver: 'prod-warning'
    
    - matchers: ['env="staging"']
      receiver: 'staging-default'
    
    # catch-all
    - matchers: ['env=~".+"']
      receiver: 'other-default'
```

```
告警匹配流程：
  告警进入 → 从根路由开始
  → 匹配子路由 continue=false → 向下匹配
  → 匹配子路由 continue=true → 匹配但继续向下
  → 首个匹配的叶子路由 → 发送到对应 receiver
```

### continue 字段

```yaml
routes:
  - matchers: ['service="payment"']
    receiver: 'payment-team'
    continue: true    # 匹配后继续匹配后续路由
  - matchers: ['severity="critical"']
    receiver: 'on-call'
    # payment 的 critical 告警会同时发给两个 receiver
```

---

## 六、抑制规则（Inhibition）

### 机制

```
抑制 = 当 A 告警触发时，自动抑制 B 告警（不发送 B）

source = 触发抑制的告警
target = 被抑制的告警
equal = 相同标签才抑制
```

### 实战示例

```yaml
inhibit_rules:
  # 1. 节点宕机 → 抑制该节点上的所有告警
  - source_matchers:
      - alertname="NodeDown"
    target_matchers:
      - alertname=~"HighCPU|HighMemory|DiskFull"
    equal: ['instance']
  
  # 2. 数据库宕机 → 抑制依赖数据库的应用告警
  - source_matchers:
      - alertname="MySQLDown"
    target_matchers:
      - alertname=~"AppError|SlowResponse"
    equal: ['service']
  
  # 3. 机房断网 → 抑制该机房所有告警
  - source_matchers:
      - alertname="NetworkOutage"
    target_matchers:
      - alertname=~".+"
    equal: ['datacenter']
  
  # 4. K8s 节点 NotReady → 抑制该节点 Pod 告警
  - source_matchers:
      - alertname="KubernetesNodeNotReady"
    target_matchers:
      - alertname=~"PodCrashLooping|PodNotReady"
    equal: ['node']
  
  # 5. critical 抑制 warning（同级服务）
  - source_matchers:
      - severity="critical"
    target_matchers:
      - severity="warning"
    equal: ['cluster', 'service']
```

---

## 七、静默（Silence）

### 创建静默

```bash
# 命令行创建
amtool silence add \
  --comment "维护窗口：升级数据库" \
  --duration 2h \
  alertname="MySQLHighConnections" \
  instance="db-prod-1"

# 按标签匹配静默
amtool silence add \
  --comment "换机房" \
  --duration 6h \
  --author "admin" \
  cluster="beijing"

# 查看活跃静默
amtool silence query

# 取消静默
amtool silence expire <silence-id>
```

### API 创建

```bash
curl -X POST http://localhost:9093/api/v2/silences \
  -H "Content-Type: application/json" \
  -d '{
    "matchers": [
      {"name": "alertname", "value": "Maintenance", "isRegex": false}
    ],
    "startsAt": "2024-01-15T22:00:00Z",
    "endsAt": "2024-01-16T02:00:00Z",
    "createdBy": "ops-team",
    "comment": "计划维护窗口"
  }'
```

### Web UI

```bash
# 访问 Alertmanager Web UI
http://localhost:9093

# 功能：
# - Silence → 创建静默
# - Status → 查看告警状态
# - 查看/取消活跃静默
```

---

## 八、通知模板

```yaml
# /etc/alertmanager/templates/dingtalk.tmpl
{{ define "dingtalk.default.title" -}}
[{{ .Status | toUpper }}] {{ .CommonLabels.alertname }}
{{- end }}

{{ define "dingtalk.default.content" -}}
{{ range .Alerts }}
**告警名称**: {{ .Labels.alertname }}
**严重级别**: {{ .Labels.severity }}
**服务**: {{ .Labels.service }}
**实例**: {{ .Labels.instance }}
**状态**: {{ .Status }}
**开始时间**: {{ .StartsAt.Format "2006-01-02 15:04:05" }}
{{ if .EndsAt }}
**结束时间**: {{ .EndsAt.Format "2006-01-02 15:04:05" }}
{{ end }}
**详情**: {{ .Annotations.summary }}

---
{{ end }}
{{- end }}
```

```yaml
# receiver 中引用模板
receivers:
  - name: 'dingtalk-critical'
    webhook_configs:
      - url: 'http://dingtalk-webhook/critical'
        send_resolved: true
    # 部分 Webhook 实现支持模板引用
```

---

## 九、钉钉/企微集成

### 钉钉 Webhook

```yaml
receivers:
  - name: 'dingtalk'
    webhook_configs:
      - url: 'https://oapi.dingtalk.com/robot/send?access_token=xxx'
        send_resolved: true
```

### PrometheusAlert 转发（推荐）

```bash
# PrometheusAlert 是一个通知转发中间件
# 支持：钉钉、企微、飞书、短信、电话
docker run -d \
  --name prometheusalert \
  -p 8080:8080 \
  -e DD_URL="https://oapi.dingtalk.com/robot/send?access_token=xxx" \
  feiyu5637/prometheusalert
```

```yaml
# Alertmanager 发给 PrometheusAlert
receivers:
  - name: 'dingtalk'
    webhook_configs:
      - url: 'http://prometheusalert:8080/prometheusalert?type=dd&tpl=dd'
        send_resolved: true
  
  - name: 'phone'
    webhook_configs:
      - url: 'http://prometheusalert:8080/prometheusalert?type=phone&phone=13800138000'
```

---

## 要点回顾

| 功能 | 说明 | 配置位置 |
|------|------|---------|
| 分组 | 同类告警合并发送 | group_by |
| 路由 | 按标签分发到不同渠道 | routes |
| 抑制 | 高级告警抑制低级告警 | inhibit_rules |
| 静默 | 维护期间临时屏蔽 | amtool/API |
| 模板 | 自定义通知格式 | templates |
| 去重 | 多 Prometheus 副本去重 | 自动 |

- group_by 控制"什么算同类"，group_wait/group_interval 控制节奏
- 路由树从上到下匹配，continue=true 时继续向下
- 抑制规则用 equal 字段确保只抑制相关告警
- 静默用 amtool 或 Web UI 管理，支持定时自动过期
- 钉钉/企微推荐通过 PrometheusAlert 转发

---

## 下一篇预告

Alertmanager 配好了，下一篇 **【Prometheus·告警篇】告警规则：Recording Rules 与 Alerting Rules 最佳实践** 将讲解如何在 Prometheus 中定义告警规则。

Prometheus 评估告警规则后触发告警，但怎么发、发给谁、怎么避免告警风暴，这些是 Alertmanager 的职责。本篇详解 Alertmanager 的路由、分组、抑制、静默四大核心功能。

【Prometheus·告警篇】Alertmanager 配置：告警路由、分组、抑制与静默

研发部经理

运维

云计算

后端

Alertmanager四大核心功能详解：路由、分组、抑制、静默配置实战。涵盖安装部署、高可用集群、路由树匹配、告警分组参数、抑制规则编写、静默管理及钉钉集成，附完整配置示例与amtool操作命令，助你构建高效可靠的Prometheus告警体系。

让每一个 Agent，都跑在云上

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

【Prometheus·告警篇】Alertmanager 配置：告警路由、分组、抑制与静默-腾讯云开发者社区-腾讯云

【Prometheus·告警篇】Alertmanager 配置：告警路由、分组、抑制与静默

【Prometheus·告警篇】Alertmanager 配置：告警路由、分组、抑制与静默

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐