Agent 全链路追踪如何支撑 Agent 效果评估

1. LLM-as-Judge 评估范式

由评估模型对 Agent 的每一次响应进行打分或分类（相关性、幻觉、任务完成度、安全性），是 2026 年的主流评估实践。

2. 评估与 Trace 同源关联

评估运行与 trace_id 关联，质量数据与分析数据在同一视图中对照，既看"得分"也看"为什么得这个分"。

3. 失败 Trace 转为回归测试

将失败 Trace 直接转化为评估回归用例，在模型版本发布前与发布后持续监控质量退化。

4. 在线与离线评估闭环

离线批量打分与在线规则引擎实时告警结合，识别高延迟链路、Token 浪费模式与常见失败模式，驱动 Prompt 调整、模型替换与工具顺序优化，并经 A/B 验证后灰度上线。