
算法工程师在生产中最容易信任的东西,恰恰是漂移检测器报出的那个数字。PSI 超过 0.2,告警;KS 检验 p 值小于 0.05,告警。看起来这是一套严密的防线。但 2026 年 ICLR 的一篇 workshop 论文给出了一个不太舒服的实证结论:漂移检测器在连续监控场景下的假阳性率,被严重低估了。PSI 在小 batch 下频繁误报,batch size 低于约 200 个样本时行为极不稳定,超过 200 后才显著改善。而 KS、MMD、LSDD 虽然在小样本下比 PSI 更可靠,但误报率在不同 batch size 之间持续波动。更关键的是,当模型同时监控几十上百个特征时,单特征检验的假阳性会累积,最终淹没真正的漂移信号。Bonferroni 校正能压低误报,但代价是敏感度下降。这三个断层叠加在一起,构成了一条典型的静默失效链路:检测器在报警,团队在排查,真正的模型衰退却在告警噪音中悄悄发生。
PSI 的工程声誉来自信用评分领域,但那个场景的前提是参照分布和当前分布各自有足够大的样本量。在生产监控中,如果按小时或按天切 window,batch size 很容易掉到几十到一百的量级。论文的实测结论很直接:PSI 在小于约 200 样本时表现出“对 batch size 的强敏感性”,频繁产生误报。这意味着一个 PSI = 0.25 的告警,在小 batch 下可能仅仅是因为抽样波动,而不是分布真的移动了。
一个可操作的做法是在 batch size 不足时切换到 KS 检验,因为 KS 在小数据量下的假阳性行为相对更稳定。canary-ml 的工程选择也是这个逻辑:PSI 要求每批至少 200 个样本,小 batch 改用基于 KS 的检测。代码层面,这不是一个复杂的改动,但它把一个“阈值驱动”的决策变成了“样本量驱动”的决策:
import numpy as np
from scipy import stats
def drift_test(reference, current, min_psi_n=200):
"""batch 足够大用 PSI,不足时退回 KS;返回效应量和 p 值"""
if len(current) >= min_psi_n:
ref_pct = np.percentile(reference, np.arange(0, 101, 10))
cur_pct = np.percentile(current, np.arange(0, 101, 10))
psi = np.sum((ref_pct - cur_pct) * np.log((ref_pct + 1e-6) / (cur_pct + 1e-6)))
return {"detector": "psi", "effect": float(psi), "p_value": None}
stat, p = stats.ks_2samp(reference, current)
return {"detector": "ks", "effect": float(stat), "p_value": float(p)}真正的工程含义在 min_psi_n 这个参数上:它不应该被写死在全局配置里,而应该与 window 的切分策略绑定。如果 product 要求“每小时告警”,而凌晨流量天然不足 200 条,那个时段的 PSI 告警就应该被自动降级或抑制,而不是让值班工程师在凌晨三点去排查一个统计假象。
一个模型如果监控 50 个连续特征,每个特征独立做 KS 检验,在全部特征都没有漂移的原假设下,仅凭随机性,预期就有约 2.5 个特征的 p 值会小于 0.05。这不是模型出了问题,这是多重检验的数学后果。当特征数量上升到 200 时,预期的假阳性数量变成 10 个。逐特征使用固定显著性水平,等于在系统层面接受一个很高的“误报率”。
正确的做法是对当前 batch 内所有特征的 p 值做 Benjamini-Hochberg 校正,控制 false discovery rate(FDR),而不是用 Bonferroni 把每个检验都压到极低的显著性水平。canary-ml 的文档明确写了这一点:KS 的漂移标志在 batch 内所有特征上做 BH 校正,“so the false-positive rate stays controlled at scale instead of compounding per feature”。代码实现可以直接用 SciPy:
from scipy.stats import false_discovery_control
def bh_drift_flags(reference_df, current_df, alpha=0.05):
pvals, names = [], []
for col in reference_df.columns:
_, p = stats.ks_2samp(reference_df[col], current_df[col])
pvals.append(p); names.append(col)
if len(pvals) < 2:
return {names[0]: pvals[0] < alpha} if pvals else {}
rejected = false_discovery_control(np.array(pvals), method="bh") < alpha
return {n: bool(r) for n, r in zip(names, rejected)}这段代码的工程价值不在于“调了一个库函数”,而在于它把漂移检测的决策单位从“单个特征”提升到了“一次 batch”。告警应该由校正后的拒绝集合触发,而不是由任意一个未校正的 p 值触发。否则,特征越多,告警越吵,而真正的漂移越难被听见。
漂移检测的上游是告警,下游是重训练或人工介入。但这两者之间经常缺一个明确的决策规则。一个常见的反模式是:只要任一特征被标记为漂移,就触发重训练。在 BH 校正之后,这比未校正时好一些,但仍然可能因为一个无关紧要的特征的微小移动而启动一次昂贵的训练任务。更合理的门禁需要同时考虑效应量和统计显著性,而不是只看其中一个。
效应量回答“移动有多大”,显著性回答“它是不是偶然”。论文的结论本身就暗示了这两者不可互相替代:Bonferroni 能压低误报但损失敏感度,PSI 在小样本下不稳定,这些都说明单一指标不足以做出重训练决策。一个简单的门禁函数可以写成:
def should_retrain(drift_results, effect_threshold=0.1, max_fraction=0.2):
"""drift_results: list of {"name","effect","p_corrected"}"""
significant = [r for r in drift_results if r["p_corrected"] < 0.05]
material = [r for r in significant if r["effect"] >= effect_threshold]
fraction = len(material) / max(len(drift_results), 1)
return {
"retrain": fraction >= 0.05 or any(r["effect"] >= 0.3 for r in material),
"significant_count": len(significant),
"material_count": len(material),
"fraction": round(fraction, 3),
}fraction >= 0.05 的含义是:只有当有实质效应的显著漂移特征占到全部监控特征的一定比例时,才认为分布移动足以影响模型行为。单个特征的剧烈移动(effect >= 0.3)走另一条短路规则。这个函数的工程意义不在于阈值本身,而在于它把“漂移”从一个二元标签变成了一个带量纲和上下文比例的决策输入。没有这层门禁,漂移检测器的输出就直接等于重训练的触发器,而这两件事之间隔着对“漂移是否已经损害了模型效用”的判断。
漂移检测的工程化,不是把 PSI 阈值从 0.2 调到 0.25,也不是在告警风暴中不断加白名单。它的核心是在三个位置建立可证伪的约束:batch size 不足时不要信任 PSI,切换到一个在该样本量下行为更稳定的检验;多特征场景下不要逐特征和 0.05 比较,用 BH 校正把假阳性控制在 batch 层面而非特征层面;检测到漂移不等于应该重训练,用效应量和比例共同决定是否触发。这三件事都不涉及模型结构的改变,但它们决定了团队是在响应真实的模型衰退,还是在响应统计噪声。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。