Agent 评估中的"假成功"指什么,该如何识别?
1. 定义
- "假成功"指智能体自报任务完成,但权威外部系统的真实状态并未发生预期变更
- 典型情形:智能体生成"已取消订单"的回复,但取消接口实际调用失败或传入了错误的订单 ID
2. 识别方法
- 以独立的状态校验(Outcome Verifier)替代智能体自身叙述:对比目标状态与权威环境的最终状态
- 将"完整 / 部分 / 重复 / 虚假"四类结果分别报告,而非笼统记为成功
3. 风险
- 假成功会掩盖真实故障,使团队误判 Agent 已可用,直到生产环境造成业务或合规损失