Agent 评估中的 LLM-as-a-Judge 是什么，适用于哪些环节？

1. 是什么

• 用一个能力较强的模型作为"裁判"，依据评分标准（Rubric）对智能体的输出或轨迹打分
• 提供接近人工判断的尺度，同时具备高吞吐、低边际成本的优势

2. 适用环节

• 输出质量评估：相关性、忠实度、指令遵循度
• 轨迹评估：规划合理性、工具选择、证据利用
• 安全评估：是否出现越权、违规、有害内容
• 组件级检查：对单次检索、单次工具调用的正确性做自动判定

3. 局限

• 存在长度偏好、位置偏好、自我偏好等偏差，且非确定性、成本较高，不宜作为每一次线上交互的判定闸