1. 评估三个层面
- 工具选择:是否调用了完成该步骤所需的正确函数
- 参数构造:参数类型、取值、格式是否符合接口契约
- 执行顺序:多工具协作时是否遵循依赖关系与正确次序
2. 常用度量
- 函数调用准确率(Function-Calling Accuracy):在单工具、5 个工具、20+ 工具等规模下的通过率
- 错误率按错误类型细分(参数错误、超时、权限拒绝等),并统计恢复比例
3. 基准对应
- Berkeley Function-Calling Leaderboard(BFCL)用于衡量模型在单次、并行、多轮场景下的函数调用准确率