生产环境下的 Agent 评估如何与线上监控体系结合？

1. 全量埋点

• 将每次模型调用、工具调用、审批闸、输入来源以足够保真度记录，支持动作重建

2. 漂移检测与 A/B

• 以量化指标（成功率、错误模式、工具调用分布）与专家抽检对比生产行为与测试基线
• 在能力、成本、安全维度做结构化 A/B，支撑灰度发布决策

3. 反馈回流

• 将显式评分、放弃信号、后续联系等用户反馈作为预部署评估无法获取的地面真值
• 把生产失败案例转化为回归测试用例，形成"监测—发现—回归"闭环