WebArena 与 OSWorld 在 Agent 评估中的侧重点有什么不同?
修改于 2026-10-13 17:59:00
15
1. 环境范围
- WebArena 在沙箱化的网站环境(4 类域名、数百至上千模板化任务)中评估浏览器操作
- OSWorld 在完整桌面操作系统(Ubuntu / Windows / macOS,数百个真实工作流任务)中评估 GUI 操作,含本地应用与跨应用协作
2. 交互方式
- WebArena 仅浏览器动作;OSWorld 通过鼠标、键盘及可选终端驱动真实桌面,含 101 个跨应用任务
3. 评估方法
- 二者均采用基于执行的成功判定(程序化校验是否真正到达目标状态),OSWorld 额外以自定义脚本校验桌面状态
4. 侧重点
- WebArena 偏网页导航与多站点推理;OSWorld 偏桌面级长程任务与跨应用状态传递,更能暴露跨应用边界的状态丢失