首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >Agent 评估 >WebArena 与 OSWorld 在 Agent 评估中的侧重点有什么不同?

WebArena 与 OSWorld 在 Agent 评估中的侧重点有什么不同?

词条归属:Agent 评估

1. 环境范围

  • WebArena 在沙箱化的网站环境(4 类域名、数百至上千模板化任务)中评估浏览器操作
  • OSWorld 在完整桌面操作系统(Ubuntu / Windows / macOS,数百个真实工作流任务)中评估 GUI 操作,含本地应用与跨应用协作

2. 交互方式

  • WebArena 仅浏览器动作;OSWorld 通过鼠标、键盘及可选终端驱动真实桌面,含 101 个跨应用任务

3. 评估方法

  • 二者均采用基于执行的成功判定(程序化校验是否真正到达目标状态),OSWorld 额外以自定义脚本校验桌面状态

4. 侧重点

  • WebArena 偏网页导航与多站点推理;OSWorld 偏桌面级长程任务与跨应用状态传递,更能暴露跨应用边界的状态丢失
相关文章
Agent常见测评基准概述
对于 agent 的测评,学术界和工业界提出了多种评测基准。这些基准针对不同场景(如通用任务、网页浏览、操作系统、办公软件、垂直领域等),通过构建交互环境和任务库来评估模型的规划、决策、工具使用、执行可靠性和安全性。按类别梳理当前比较有代表性的 Agent 基准分为以下几类。
小陡坡香菜
2025-12-24
3.7K0
什么都不做就能得分?智能体基准测试出现大问题
基准测试在评估人工智能系统的优势与局限性方面具有基础性作用,是引导科研与产业发展的关键工具。
机器之心
2025-07-16
5790
Agent评测机制概述
随着基于大语言模型的智能代理(LLM-based Agents)迅速走向实际应用,如何有效评估这些系统的真实能力成为关键问题。表面上的流畅对话或单一任务完成率已不足以判断Agent在复杂环境中的可靠性。
tunsuy
2026-04-09
1.5K0
PKS中设备控制回路的报警与PID回路的报警有什么不同?
不仅监控界面与模拟量的PID监控回路不同,设备控制回路所提供的报警也与PID回路大相径庭。PID回路中常用的高报、低报、变化速率报警等统统不适用于设备控制回路,它的报警自有一番别样韵味。
剑指工控
2022-11-14
1.2K0
在Bash编程中 set -e 与 trap exit ERR 有什么相同点和不同点
在Bash编程中,set -e(或更正式地写作set -o errexit)和使用trap命令来捕获EXIT或ERR信号有相似的目的,即在脚本中检测错误并作出相应处理,但它们在行为和使用场景上有一些不同点。
程序熵
2024-07-01
1.2K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券