为什么 Agent 评估必须把成本与延迟纳入指标体系?
1. 为何必须纳入
- Agent 会自主调用模型、工具与检索,单次成本随步数、重试、上下文累积而放大
- 仅看准确率会忽略成本,导致"能答对但用不起"的方案进入生产
2. 度量方式
- 单次成功任务成本(Cost per Successful Task)、平均 / 分位延迟、Token 与工具调用预算
- 将效率指标与质量、安全指标分开成门,避免高分低质或高分高耗被误判为可用
3. 生产含义
- 在企业规模化部署时,效率指标直接决定 Agent 是否在经济上可承受