首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >Agent 评估 >主流的开源 Agent 评估框架有哪些,各自特点是什么?

主流的开源 Agent 评估框架有哪些,各自特点是什么?

词条归属:Agent 评估

1. DeepEval

  • 以 Pytest 风格编写评估用例,Apache 2.0 开源,内置丰富指标并支持工具调用评估,适合接入 CI/CD 做回归测试

2. Ragas

  • Apache 2.0 开源,专注检索增强生成(RAG)的上下文精度、召回、忠实度等指标

3. Arize Phoenix

  • 基于 OpenTelemetry 的追踪与可观测平台,提供轨迹分析与生产诊断,源码可自托管

4. Langfuse

  • MIT 许可、可自托管,提供 Trace、LLM 裁判、标注队列与生产评分,2026 年被 ClickHouse 收购仍保留开源核心

5. LangSmith

  • 与 LangChain / LangGraph 生态深度集成,提供追踪、数据集、在线 / 离线评估,适合该生态内的 Agent 团队

6. OpenAI Evals 与 Giskard

  • OpenAI Evals 轻量开源、以基准测试见长;Giskard 为 Apache 2.0 的 Agent 场景测试与漏洞扫描框架

7. 选型建议

  • 多数团队采用"两层组合":用离线评估框架(如 DeepEval / Ragas)做回归,配合可观测平台(如 Phoenix / Langfuse)做生产可见性
相关文章
高频Spring面试题你能答对几个?
Spring 框架,作为一个非常优秀的轻量级容器,在企业级项目开发中非常受欢迎,Spring 框架也早已成为 Java 后端开发事实上的行业标准,如何用好 Spring ,也就成为 Java 程序员的必修课之一。对于开发同学来说,Spring 框架熟悉又陌生。熟悉:开发过程中无时无刻不在使用 Spring 的知识点;陌生:对于基本理论知识疏于整理与记忆。导致很多同学面试时对于 Spring 相关的题目知其答案,但表达不够完整准确。
java思维导图
2020-01-02
6200
「一人公司」DeepSeek招聘Agent人才:普通人如何抓住这波机会?
这不是某个小公司在招人,这是国内AI领域的头部玩家,在大规模招募Agent方向的人才。
逍遥憩馆
2026-07-28
2510
2026 年内网数据分析 Agent 选型:私有化部署、信创适配与安全合规的评估框架
2026 年,内网数据分析 Agent(Data Agent)正在从"要不要做"转向"怎么做"。对于央国企、金融、军工、政务等强监管行业,一个绕不开的约束是:数据必须留在内网,系统必须适配信创环境,安全合规必须经得起审计。这三个约束叠加在一起,让内网 Data Agent 的选型远比普通 SaaS 工具复杂。
KylenReview
2026-09-17
2170
别再选错!5分钟掌握AI Agent框架选型的方法
在前一篇文章中,我们探讨了《大模型应用开发技术路线(下):智能代理与多模态应用指南》。今天,让我们深入剖析AI Agent开发框架——这个被称为AI应用开发的"乐高积木"的标准化工具集。
六边形架构
2025-11-06
1.3K0
2026年企业级智能体平台市场定义、竞争格局与厂商全景盘点|爱分析
企业级智能体平台正在成为AI市场最拥挤的赛道之一。智能体平台市场规模将从2025年的144.3亿元增长至2030年的2471.2亿元,复合年增长率达到76.5%。本文给出市场定义、竞争格局、厂商全景与口碑参考,帮助企业厘清平台、应用与开发工具的差异。
爱分析ifenxi1
2026-09-01
3590
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券