Agent 评估如何应对非确定性导致的结果波动?
修改于 2026-10-13 17:50:49
11
1. 问题来源
- 智能体根据中间结果自适应调整,存在多条同样有效的执行路径(路径可变性)
- 采样随机性与检索内容差异使多次运行结果不完全一致(运行间方差)
2. 应对方法
- 多次重复运行同一任务,分别测量能力上限(最好一次能否做对)与一致性下限(每次是否都做对)
- 用 pass^k 等一致性指标暴露"偶尔成功"的脆弱性,而非被单次亮眼结果误导
3. 稳定性门槛
- 生产环境应以多次独立尝试下的稳定通过率作为可信赖度依据,而非单次最佳表现