pass@k 与 pass^k 在 Agent 评估中分别适用于什么场景？

1. pass@k（能力上限）

• 同一任务运行 k 次，只要至少 1 次通过即记为成功，衡量"智能体是否具备该能力"
• 适合可以廉价重试、并能自动判定正误的场景（如代码生成可运行测试验证）

2. pass^k（一致性下限）

• 同一任务运行 k 次，只有全部 k 次都通过才记为成功，衡量"智能体是否每次都可靠"
• 由 τ-bench 推广，更贴近真实用户只给一次机会、无法预先校验的生产场景

3. 为何重要

• 一致性往往远低于能力上限：例如单次通过率约 90% 的智能体，在连续 4 次、8 次、16 次尝试中全部成功的比例会快速下降到约 66%、43%、19%
• 评估时应同时报告两种指标与尝试次数，避免用单次亮眼分数掩盖可靠性问题