当前 Agent 评估面临的主要技术挑战有哪些？

1. 基准饱和与可博弈性

• 公开基准存在数据污染与饱和：2026 年 OpenAI 审计发现 SWE-bench Verified 约 59.4% 的受审题目测试存在缺陷、DeepSWE 审计其验证器错误率约 32%，分数已饱和至约 93.9%；研究也展示智能体可利用 Git 历史等漏洞在未真正解题的情况下刷高分数

2. 非确定性与方差

• 运行间方差使单次分数噪声很大，需要多次运行分离信号与波动

3. 评估工具链缺陷

• 评估框架（运行用例与打分的代码）本身常被低估，已有审计显示部分广泛使用的基准存在相当比例的瑕疵测试用例

4. 自动裁判偏差

• LLM 裁判存在长度、位置、自我偏好等偏差，且非确定性、成本高，需校准后限定使用范围

5. 成本与标准化缺失

• 全面评估成本高昂，且 Agent 生产指标缺乏统一标准，需结合自身场景自建体系