主流的开源 Agent 评估框架有哪些,各自特点是什么?
修改于 2026-10-13 17:58:16
22
1. DeepEval
- 以 Pytest 风格编写评估用例,Apache 2.0 开源,内置丰富指标并支持工具调用评估,适合接入 CI/CD 做回归测试
2. Ragas
- Apache 2.0 开源,专注检索增强生成(RAG)的上下文精度、召回、忠实度等指标
3. Arize Phoenix
- 基于 OpenTelemetry 的追踪与可观测平台,提供轨迹分析与生产诊断,源码可自托管
4. Langfuse
- MIT 许可、可自托管,提供 Trace、LLM 裁判、标注队列与生产评分,2026 年被 ClickHouse 收购仍保留开源核心
5. LangSmith
6. OpenAI Evals 与 Giskard
- OpenAI Evals 轻量开源、以基准测试见长;Giskard 为 Apache 2.0 的 Agent 场景测试与漏洞扫描框架
7. 选型建议
- 多数团队采用"两层组合":用离线评估框架(如 DeepEval / Ragas)做回归,配合可观测平台(如 Phoenix / Langfuse)做生产可见性