首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >#WorkBuddy# 13.8 万个监控点 80 个真异常:3σ 只抓 27.5%,滑窗 z 误报 92.8%,季节基线+四规则做到 F1 86.39

#WorkBuddy# 13.8 万个监控点 80 个真异常:3σ 只抓 27.5%,滑窗 z 误报 92.8%,季节基线+四规则做到 F1 86.39

原创
作者头像
用户12784192
发布于 2026-11-10 10:34:07
发布于 2026-11-10 10:34:07
1480
举报

#WorkBuddy# 13.8 万个监控点 80 个真异常:3σ 只抓 27.5%,滑窗 z 误报 92.8%,季节基线+四规则做到 F1 86.39

三档检测方案 P/R/F1 与告警条数对比
三档检测方案 P/R/F1 与告警条数对比

一、痛点:告警要么吵死你,要么瞎掉

我用 WorkBuddy 编排了几十个自动化任务,每天定时跑:文章发布、数据对账、文件归档、素材渲染。为了知道它们"健康不健康",我把任务耗时 P95、失败次数、token 用量、队列深度、磁盘余量等 8 个指标按 5 分钟一个点采集,60 天下来 138,240 个点。

然后我给它们配了告警,踩了两轮坑:

  • 第一轮:全局 3σ 阈值。 结果 60 天只报 42 次,事后对账发现漏掉了 58 个真异常——最典型的就是"磁盘慢慢被写满"这种渐进式劣化,每天涨一点,每天都"正常"。
  • 第二轮:滑动窗口 z-score。 结果报了 722 次,只有 52 次是真的,670 次误报。每天早晚两个"爬坡时段"准时误报,同事看到告警推送已经麻木了。

问题不在阈值调得不好,而在方法本身不认识数据长什么样。

二、根因:三个结构性缺陷

我把这批指标的形态拆开看,发现三条规律,恰好对应三个坑:

1. 指标有强周期,静态阈值必然误伤。 任务耗时、token 用量这类指标有清晰的日周期(白天忙、夜里闲,振幅 30%–70%)和周周期(周末只有平日六成)。全局 3σ 的分母被周期本身撑大,阈值线要么太高抓不到异常、要么太低天天误报——横竖都不对。

2. 滑动窗口的 MAD 会被窗口内趋势压小。 我用 ±1 小时窗的中位数 + MAD 做稳健 z 值,听起来很稳。但正弦型周期在爬坡段近似直线,窗口内几乎没有"波动",MAD 趋近于零,于是一个完全正常的爬坡点也会算出巨大的 z 值。这是滑窗法在周期数据上的死穴,调阈值只能缓解,不能根治。

3. 异常不止一种形态,一条规则管不全。 我把人工标注过的异常归类,至少有五种:单点尖峰(1–2 个点)、下探、水平突变(持续 2 小时以上的台阶)、缓慢漂移(25 小时爬完 30%)、方差突变(均值不动、抖动翻倍)。尖峰要"单点高阈值",突变要"连续确认",方差异常在均值上根本看不出来——用同一条规则去抓,必然顾此失彼。

三、实验:三档方案同台对比

三类异常的真实切片与命中规则
三类异常的真实切片与命中规则

为了把结论钉死,我构造了一个带真值的基准:8 个指标 × 17,280 点 = 138,240 点(60 天 / 5 分钟采样),注入 80 个已知异常(尖峰 24、下探 16、水平突变 16、弱突变 8、漂移 8、方差 8),然后让三档方案同台跑:

方案

思路

告警条数

命中

精确率 P

召回率 R

F1

A 全局 3σ

mean ± 3×std

42

22

52.38

27.50

36.07

B ±1h 滑窗 z

中位数 + MAD

722

52

7.20

65.00

12.97

C 治理式

季节基线 + 四条规则

89

73

82.02

91.25

86.39

点级口径同样说明问题:A 的点级精确率高达 99.01%,但点级召回只有 14.38%——它几乎不误报,因为它几乎不报;B 的点级精确率 7.67%,告警基本是噪声。C 的点级 P/R 是 85.08 / 68.24,事件合并后把 5,576 个告警点压缩成 89 条事件,压缩比 62.7 倍,单次全量检测 1.22 秒。

分异常类型看 C 的召回:尖峰 100%、弱突变 100%、方差突变 100%、下探 87.5%、水平突变 81.25%、漂移 75%。剩下 7 个漏报(下探 2、水平突变 3、漂移 2)全部是幅度低于 2σ 的"软异常",属于可接受的盲区。

四、拆开看:每一道关口各值多少分

消融实验:每道关口的 F1 贡献
消融实验:每道关口的 F1 贡献

消融实验(同一份语料、同一套真值、只拆一处):

变体

P

R

F1

告警条数

完整方案

82.02

91.25

86.39

89

季节基线改为按小时分桶

92.19

73.75

81.94

64

拆掉变点检测

73.00

91.25

81.11

100

拆掉方差守卫

59.84

91.25

72.28

122

拆掉持续确认(need=1)

19.85

97.50

32.98

393

拆掉季节基线(全局稳健中位数)

40.00

27.50

32.59

55

三个反直觉的发现:

  1. 最贵的不是阈值,是基线里有没有季节。 拆掉季节基线 F1 直接腰斩到 32.59。但更有意思的是分桶粒度:把"小时 × 星期"的 168 个桶细化到与采样同粒度的"5 分钟 × 星期"(2,016 个桶,每桶 30 个样本),F1 从 81.94 涨到 86.39——因为小时桶无法表达小时内的趋势,残差尺度被抬高近 2 倍,7σ 的尖峰在残差里只剩 2.6σ。
  2. 召回和误报是一对硬约束。 拆掉持续确认(单点超阈即报),召回冲到 97.50,但告警从 89 条暴涨到 393 条,F1 反而跌到 32.98。"3/5 点确认"这一道闸,用 6 个点的漏报换掉了 300 多条噪声。
  3. 方差守卫单独值 +14.11 分。 均值不动的抖动异常,前面三条规则全都看不见,只有它管。

参数敏感性也做了:变点阈值从 2.0 扫到 6.0,F1 只从 86.90 滑到 83.43,曲线很平;合并冷却从 12 点拉长到 48 点,F1 能升到 94.19——但那是把 4 小时内的告警全并成一条换来的,牺牲时间分辨率,生产上我仍取 1 小时。

五、可复制的核心代码

完整脚本约 300 行(含语料生成与评估),核心检测器 60 行可以抄走:

代码语言:python
复制
import numpy as np

def mad_scale(a):                      # 稳健尺度:1.4826 * MAD
    med = np.median(a)
    return 1.4826 * np.median(np.abs(a - med)) + 1e-9

def detect(x, slot, z_hi=6.0, z_mid=3.5, need=3, span=5, cooldown=12):
    # 1) 季节基线:与采样同粒度的时间槽取中位数(一周 2016 槽)
    prof = np.zeros(slot.max() + 1)
    for b in range(slot.max() + 1):
        prof[b] = np.median(x[slot == b])
    resid = x - prof[slot]
    sc = mad_scale(resid)
    z = np.abs(resid) / sc
    events = []

    def merge(mask, max_gap):          # 相邻超限点合并成区间
        idx = np.flatnonzero(mask); out = []
        for i in idx:
            if out and i - out[-1][1] <= max_gap: out[-1][1] = i
            else: out.append([i, i])
        return out

    # 规则① 单点尖峰:高阈值、不要求持续
    events += [(a, b, "spike") for a, b in merge(z > z_hi, 2)]
    # 规则② 持续偏离:span 点内至少 need 点超中阈值(抗抖动)
    flag = z > z_mid
    cnt = np.convolve(flag.astype(int), np.ones(span), "same")
    events += [(a, b, "sustained") for a, b in merge(flag & (cnt >= need), cooldown)]
    # 规则③ 水平突变:前后 24h 中位数跳变,且跳变后残差复核通过
    W = 288
    v = np.lib.stride_tricks.sliding_window_view(x, W)
    m1, m2 = np.median(v[:-W], 1), np.median(v[W:], 1)
    L = min(len(m1), len(m2))
    post = np.median(np.lib.stride_tricks.sliding_window_view(z, 12)[W:W + L], 1)
    jump = (np.abs(m2[:L] - m1[:L]) > np.maximum(3.0 * sc, 0.05 * np.abs(m1[:L]))) & (post > 2.5)
    events += [(a + W, b + W + 12, "shift") for a, b in merge(jump, 12)]
    # 规则④ 方差守卫:残差的局部波动翻倍、且均值未漂移
    rv = np.lib.stride_tricks.sliding_window_view(resid, 48)
    std = rv.std(1); cen = np.arange(len(std)) + 24
    j = np.flatnonzero((std > 2.2 * np.median(std)) & (z[cen] < z_mid))
    events += [(a, b, "variance") for a, b in merge(np.isin(np.arange(len(x)), cen[j]), 24)]
    # 合并:时间相近的检出归并为一条事件(5,576 点 → 89 条)
    out = []
    for s, e, src in sorted(events):
        if out and s <= out[-1][1] + cooldown:
            out[-1][1] = max(out[-1][1], e); out[-1][2] += "+" + src
        else:
            out.append([s, e, src])
    return out

评估口径:事件级匹配(预测区间与真值区间重叠 ≥ 较短区间的 25%,按 IoU 贪心一对一)。不要用点级指标评估告警系统——一条持续 2 小时的台阶异常会被点级口径算成 24 个 TP,把误报全部掩盖掉。

六、踩坑清单

  1. 季节基线的分桶粒度必须与采样间隔一致。 按小时分桶时,桶内趋势全部漏进残差,MAD 被抬高约 2 倍,所有 z 值系统性缩水。细化到 5 分钟槽后尖峰召回直接从 37.5% 拉满到 100%。
  2. 滑窗 z-score 在周期数据上必然在爬坡段误报。 不是阈值没调好,是窗口内趋势把 MAD 压小了。要局部化,请对"残差"做窗口,而不是对原始序列。
  3. 方差要用残差算。 最初我对原始序列算 48 点滚动标准差再除以全局中位数,结果 30 次误报 0 命中——日周期本身的波动起伏就够触发 2.2 倍阈值了。换成残差后误报归零。
  4. 变点检测必须加"事后复核"。 前后 24h 中位数比较会被周末因子骗到(周末只有平日六成,每个周五深夜都像"指标腰斩")。加一道"跳变后 12 点残差 z 中位数 > 2.5"的复核,周五陷阱全灭。
  5. 持续确认是误报和漏报的旋钮。 need=3/span=5 在本语料上是最优折中;need=1 召回 97.5% 但告警量 ×4.4。上线前先用自己的一周数据扫一遍这个参数。
  6. FP 里 15 条是重复告警、只有 1 条是真误报。 事件合并(cooldown=12)不只是省通知费,更直接决定精确率的成色。

七、给 WorkBuddy 的提示词模板

把这个场景交给 WorkBuddy,一句话就能搭起来:

请帮我给工作目录下的任务监控指标做异常检测:读取 metrics/*.csv(5 分钟一列),对每列先按"周内 5 分钟槽"建季节基线并算稳健残差 z;然后按四条规则出事件——单点 z>6 尖峰、5 点窗口内 3 点 z>3.5 持续偏离、前后 24h 中位数跳变(事后残差复核)、残差局部波动 >2.2 倍方差守卫;相邻检出合并为事件(冷却 12 点),输出 events.csv(起止时间、命中规则、峰值 z)和一张 2560×1440 的曲线标注图,并列出每个事件的处置建议。先用上周数据回测准确率,再上告警。

八、收尾

138,240 个点、80 个真值异常、三档方案、6 组消融、11 组参数扫描,全部数字来自同一次可复现实验(seed=20261110,全量跑完含扫描 21.5 秒)。结论一句话:监控周期性指标,先给检测器一张"正常长什么样"的底图(季节基线),再用多条规则各管一类异常,最后用事件合并把噪声收成几条人能读完的告警。 阈值只是最后一厘米,底图才是那一公里。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • #WorkBuddy# 13.8 万个监控点 80 个真异常:3σ 只抓 27.5%,滑窗 z 误报 92.8%,季节基线+四规则做到 F1 86.39
    • 一、痛点:告警要么吵死你,要么瞎掉
    • 二、根因:三个结构性缺陷
    • 三、实验:三档方案同台对比
    • 四、拆开看:每一道关口各值多少分
    • 五、可复制的核心代码
    • 六、踩坑清单
    • 七、给 WorkBuddy 的提示词模板
    • 八、收尾
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档