
我用 WorkBuddy 编排了几十个自动化任务,每天定时跑:文章发布、数据对账、文件归档、素材渲染。为了知道它们"健康不健康",我把任务耗时 P95、失败次数、token 用量、队列深度、磁盘余量等 8 个指标按 5 分钟一个点采集,60 天下来 138,240 个点。
然后我给它们配了告警,踩了两轮坑:
问题不在阈值调得不好,而在方法本身不认识数据长什么样。
我把这批指标的形态拆开看,发现三条规律,恰好对应三个坑:
1. 指标有强周期,静态阈值必然误伤。 任务耗时、token 用量这类指标有清晰的日周期(白天忙、夜里闲,振幅 30%–70%)和周周期(周末只有平日六成)。全局 3σ 的分母被周期本身撑大,阈值线要么太高抓不到异常、要么太低天天误报——横竖都不对。
2. 滑动窗口的 MAD 会被窗口内趋势压小。 我用 ±1 小时窗的中位数 + MAD 做稳健 z 值,听起来很稳。但正弦型周期在爬坡段近似直线,窗口内几乎没有"波动",MAD 趋近于零,于是一个完全正常的爬坡点也会算出巨大的 z 值。这是滑窗法在周期数据上的死穴,调阈值只能缓解,不能根治。
3. 异常不止一种形态,一条规则管不全。 我把人工标注过的异常归类,至少有五种:单点尖峰(1–2 个点)、下探、水平突变(持续 2 小时以上的台阶)、缓慢漂移(25 小时爬完 30%)、方差突变(均值不动、抖动翻倍)。尖峰要"单点高阈值",突变要"连续确认",方差异常在均值上根本看不出来——用同一条规则去抓,必然顾此失彼。

为了把结论钉死,我构造了一个带真值的基准:8 个指标 × 17,280 点 = 138,240 点(60 天 / 5 分钟采样),注入 80 个已知异常(尖峰 24、下探 16、水平突变 16、弱突变 8、漂移 8、方差 8),然后让三档方案同台跑:
方案 | 思路 | 告警条数 | 命中 | 精确率 P | 召回率 R | F1 |
|---|---|---|---|---|---|---|
A 全局 3σ | mean ± 3×std | 42 | 22 | 52.38 | 27.50 | 36.07 |
B ±1h 滑窗 z | 中位数 + MAD | 722 | 52 | 7.20 | 65.00 | 12.97 |
C 治理式 | 季节基线 + 四条规则 | 89 | 73 | 82.02 | 91.25 | 86.39 |
点级口径同样说明问题:A 的点级精确率高达 99.01%,但点级召回只有 14.38%——它几乎不误报,因为它几乎不报;B 的点级精确率 7.67%,告警基本是噪声。C 的点级 P/R 是 85.08 / 68.24,事件合并后把 5,576 个告警点压缩成 89 条事件,压缩比 62.7 倍,单次全量检测 1.22 秒。
分异常类型看 C 的召回:尖峰 100%、弱突变 100%、方差突变 100%、下探 87.5%、水平突变 81.25%、漂移 75%。剩下 7 个漏报(下探 2、水平突变 3、漂移 2)全部是幅度低于 2σ 的"软异常",属于可接受的盲区。

消融实验(同一份语料、同一套真值、只拆一处):
变体 | P | R | F1 | 告警条数 |
|---|---|---|---|---|
完整方案 | 82.02 | 91.25 | 86.39 | 89 |
季节基线改为按小时分桶 | 92.19 | 73.75 | 81.94 | 64 |
拆掉变点检测 | 73.00 | 91.25 | 81.11 | 100 |
拆掉方差守卫 | 59.84 | 91.25 | 72.28 | 122 |
拆掉持续确认(need=1) | 19.85 | 97.50 | 32.98 | 393 |
拆掉季节基线(全局稳健中位数) | 40.00 | 27.50 | 32.59 | 55 |
三个反直觉的发现:
参数敏感性也做了:变点阈值从 2.0 扫到 6.0,F1 只从 86.90 滑到 83.43,曲线很平;合并冷却从 12 点拉长到 48 点,F1 能升到 94.19——但那是把 4 小时内的告警全并成一条换来的,牺牲时间分辨率,生产上我仍取 1 小时。
完整脚本约 300 行(含语料生成与评估),核心检测器 60 行可以抄走:
import numpy as np
def mad_scale(a): # 稳健尺度:1.4826 * MAD
med = np.median(a)
return 1.4826 * np.median(np.abs(a - med)) + 1e-9
def detect(x, slot, z_hi=6.0, z_mid=3.5, need=3, span=5, cooldown=12):
# 1) 季节基线:与采样同粒度的时间槽取中位数(一周 2016 槽)
prof = np.zeros(slot.max() + 1)
for b in range(slot.max() + 1):
prof[b] = np.median(x[slot == b])
resid = x - prof[slot]
sc = mad_scale(resid)
z = np.abs(resid) / sc
events = []
def merge(mask, max_gap): # 相邻超限点合并成区间
idx = np.flatnonzero(mask); out = []
for i in idx:
if out and i - out[-1][1] <= max_gap: out[-1][1] = i
else: out.append([i, i])
return out
# 规则① 单点尖峰:高阈值、不要求持续
events += [(a, b, "spike") for a, b in merge(z > z_hi, 2)]
# 规则② 持续偏离:span 点内至少 need 点超中阈值(抗抖动)
flag = z > z_mid
cnt = np.convolve(flag.astype(int), np.ones(span), "same")
events += [(a, b, "sustained") for a, b in merge(flag & (cnt >= need), cooldown)]
# 规则③ 水平突变:前后 24h 中位数跳变,且跳变后残差复核通过
W = 288
v = np.lib.stride_tricks.sliding_window_view(x, W)
m1, m2 = np.median(v[:-W], 1), np.median(v[W:], 1)
L = min(len(m1), len(m2))
post = np.median(np.lib.stride_tricks.sliding_window_view(z, 12)[W:W + L], 1)
jump = (np.abs(m2[:L] - m1[:L]) > np.maximum(3.0 * sc, 0.05 * np.abs(m1[:L]))) & (post > 2.5)
events += [(a + W, b + W + 12, "shift") for a, b in merge(jump, 12)]
# 规则④ 方差守卫:残差的局部波动翻倍、且均值未漂移
rv = np.lib.stride_tricks.sliding_window_view(resid, 48)
std = rv.std(1); cen = np.arange(len(std)) + 24
j = np.flatnonzero((std > 2.2 * np.median(std)) & (z[cen] < z_mid))
events += [(a, b, "variance") for a, b in merge(np.isin(np.arange(len(x)), cen[j]), 24)]
# 合并:时间相近的检出归并为一条事件(5,576 点 → 89 条)
out = []
for s, e, src in sorted(events):
if out and s <= out[-1][1] + cooldown:
out[-1][1] = max(out[-1][1], e); out[-1][2] += "+" + src
else:
out.append([s, e, src])
return out评估口径:事件级匹配(预测区间与真值区间重叠 ≥ 较短区间的 25%,按 IoU 贪心一对一)。不要用点级指标评估告警系统——一条持续 2 小时的台阶异常会被点级口径算成 24 个 TP,把误报全部掩盖掉。
把这个场景交给 WorkBuddy,一句话就能搭起来:
请帮我给工作目录下的任务监控指标做异常检测:读取 metrics/*.csv(5 分钟一列),对每列先按"周内 5 分钟槽"建季节基线并算稳健残差 z;然后按四条规则出事件——单点 z>6 尖峰、5 点窗口内 3 点 z>3.5 持续偏离、前后 24h 中位数跳变(事后残差复核)、残差局部波动 >2.2 倍方差守卫;相邻检出合并为事件(冷却 12 点),输出 events.csv(起止时间、命中规则、峰值 z)和一张 2560×1440 的曲线标注图,并列出每个事件的处置建议。先用上周数据回测准确率,再上告警。
138,240 个点、80 个真值异常、三档方案、6 组消融、11 组参数扫描,全部数字来自同一次可复现实验(seed=20261110,全量跑完含扫描 21.5 秒)。结论一句话:监控周期性指标,先给检测器一张"正常长什么样"的底图(季节基线),再用多条规则各管一类异常,最后用事件合并把噪声收成几条人能读完的告警。 阈值只是最后一厘米,底图才是那一公里。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。