Linux SRE运维实战：从监控到自动化自愈的企业级体系构建

在当今云原生与微服务盛行的时代，站点可靠性工程师（SRE）肩负着保障系统高可用、可观测与自动化运维的重任。本文基于真实生产环境沉淀，从初级监控、中级告警治理到高级自动化自愈，层层递进，带您构建一套完整的企业级Linux运维实战体系。全文附带可落地的代码片段，助您快速应用于腾讯云CVM、TKE等基础设施。

一、初级篇：夯实监控数据底座

监控是SRE的“眼睛”。初级阶段我们采用 

 实现主机与容器的基础指标采集。

1.1 部署Node Exporter（二进制方式）

# 下载并解压
wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz
tar xvf node_exporter-1.7.0.linux-amd64.tar.gz -C /usr/local/
ln -s /usr/local/node_exporter-1.7.0.linux-amd64 /usr/local/node_exporter

# 创建systemd服务
cat > /etc/systemd/system/node_exporter.service <<EOF
[Unit]
Description=Node Exporter
After=network.target

[Service]
ExecStart=/usr/local/node_exporter/node_exporter \
  --web.listen-address=:9100 \
  --collector.systemd \
  --collector.processes
Restart=always

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload && systemctl enable --now node_exporter

scrape_configs:
  - job_name: 'node'
    static_configs:
      - targets: ['192.168.1.10:9100', '192.168.1.11:9100']
        labels:
          env: 'production'
          team: 'sre'

  - job_name: 'docker'
    static_configs:
      - targets: ['192.168.1.10:8080']   # cAdvisor默认端口

重启Prometheus后，通过Grafana导入Node Exporter Full（ID 1860）面板，即可直观查看CPU、内存、磁盘IO、网络流量等基础指标。

：确保所有物理机和容器的黄金指标（利用率、饱和度、错误）可查询。

二、中级篇：智能告警与故障根因分析

光有数据不够，我们需要在异常发生时第一时间感知，并辅助定位根因。此阶段引入 

groups:
  - name: host_alerts
    interval: 30s
    rules:
      - alert: DiskUsageHigh
        expr: (1 - (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"})) * 100 > 85
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "磁盘使用率超过85% ({{ $labels.instance }})"
          description: "根分区使用率 {{ $value }}%，请及时清理或扩容。"

2.2 对接Alertmanager实现多渠道通知

route:
  group_by: ['alertname', 'cluster']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'webhook-and-email'
receivers:
  - name: 'webhook-and-email'
    webhook_configs:
      - url: 'http://sre-webhook.tencent.com/alert'
        send_resolved: true
    email_configs:
      - to: 'sre@company.com'
        smarthost: 'smtp.exmail.qq.com:465'
        auth_username: 'alert@company.com'
        auth_password: 'xxxx'

2.3 借助Pushgateway采集脚本化业务指标

对于批处理任务或短期Job，使用Pushgateway推送自定义指标：

#!/usr/bin/env python3
import requests
from prometheus_client import CollectorRegistry, Gauge, push_to_gateway

registry = CollectorRegistry()
g = Gauge('batch_process_success', '批处理成功状态', registry=g)
g.set(1)  # 1成功，0失败
push_to_gateway('http://pushgateway:9091', job='data_etl', registry=registry)

 时触发告警，实现业务级监控。

：覆盖系统、应用、业务三层指标，告警精准无噪音，并初步建立故障处理SOP。

三、高级篇：自动化自愈与SLO工程化

高级SRE的核心是“减少人工干预”，通过自动化操作将MTTR降至分钟级，并用量化SLO（服务等级目标）驱动稳定性建设。

3.1 基于告警触发的自动修复脚本

编写一个Python Flask服务作为Webhook接收Alertmanager的告警，针对特定告警执行修复动作：

from flask import Flask, request, jsonify
import subprocess
import logging

app = Flask(__name__)

@app.route('/alert', methods=['POST'])
def handle_alert():
    data = request.json
    alerts = data.get('alerts', [])
    for alert in alerts:
        labels = alert.get('labels', {})
        if labels.get('alertname') == 'DiskUsageHigh':
            instance = labels.get('instance')
            # 自动清理超过7天的日志文件（需谨慎）
            cmd = f"ssh root@{instance} 'find /var/log -name '*.log' -mtime +7 -delete'"
            subprocess.run(cmd, shell=True, check=False)
            logging.info(f"Auto cleanup executed on {instance}")
    return jsonify({"status": "processed"}), 200

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

将上述服务部署为systemd，并配置Alertmanager的webhook指向 

：自动修复需结合预案，切勿在生产环境随意删除文件，建议先执行 

对于复杂场景（如重启服务、切换流量），使用Ansible Playbook实现原子化修复：

# auto_recover_nginx.yml
- hosts: "{{ target_host }}"
  tasks:
    - name: Check Nginx process
      shell: pgrep -x nginx
      register: result
      ignore_errors: yes

    - name: Restart Nginx if down
      systemd:
        name: nginx
        state: restarted
      when: result.rc != 0

    - name: Verify recovery
      uri:
        url: "http://{{ ansible_default_ipv4.address }}/health"
        status_code: 200
      register: health_check
      retries: 3
      delay: 5
      until: health_check.status == 200

通过API调用Ansible Tower或AWX，实现无人值守的自愈链路。

高级SRE需定义SLI（如请求延迟P99 < 200ms），并计算错误预算。使用Prometheus的 

# 过去30天的可用性（基于HTTP 500占比）
sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) > 0.01

当错误预算消耗过快（如30分钟消耗掉1天预算），触发“燃烧告警”，通知Oncall工程师介入。可参考Google SRE Workbook中的多窗口多燃烧率规则。

3.4 集成腾讯云云监控与弹性伸缩

作为腾讯云用户，可通过API将自建Prometheus指标与云监控打通，实现联动伸缩组：

# 使用tccli（腾讯云CLI）调整CVM实例数
tccli as ModifyScalingGroup --ScalingGroupId asg-xxxx --DesiredCapacity 5

将上述命令嵌入Grafana告警的Webhook，当业务QPS突增导致CPU持续高于80%时，自动扩容CVM，优雅应对流量洪峰。

本文从Node Exporter部署、Prometheus告警规则编写，到Alertmanager多渠道通知、自定义指标Push，再到基于Webhook的自动化修复、Ansible编排和SLO燃烧告警，完整呈现了Linux SRE从初级到高级的实战路径。

企业级SRE不是堆砌工具，而是构建“感知-决策-执行”的闭环。希望本文的代码与思路能为您在腾讯云上的业务稳定性建设提供切实帮助。欢迎在评论区交流实战经验，共同提升运维的工程化水平。

运维

架构设计

云计算

学习Linux SRE运维实战，掌握从监控到自动化自愈的企业级体系构建。涵盖Prometheus监控、智能告警、故障根因分析、自动化修复脚本、Ansible编排及SLO工程化等核心技能，提供可落地的代码片段，适用于腾讯云CVM、TKE等基础设施，助力提升系统高可用性与运维效率。

站点可靠性工程

自动化运维

弹性伸缩

日志文件

云原生

云监控

Docker

容器

Linux

2026上云采购 | AI焕新·智启新局

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

Linux SRE运维实战：从监控到自动化自愈的企业级体系构建

Linux SRE运维实战：从监控到自动化自愈的企业级体系构建

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐