GAIA 基准在 Agent 评估中重点考察哪些能力？

1. 任务结构

• 共 466 道人工标注任务，答案为唯一可验证短文本，采用精确匹配评分
• 分三级难度：一级少于 5 步、二级 5～10 步多工具、三级 10 步以上（任意长短）的长程规划

2. 考察能力

• 网页浏览、文件处理（PDF / 表格 / 图片 / 音频）、计算、跨多源信息综合与逻辑推理

3. 表现水平

• 人类基线整体约 92%；2026 年领先 Agent（如 HAL 榜 Claude Sonnet 4.5）整体约 74.6%，一级约 82%、二级约 73%、三级约 65%，整体仍显著低于人类 92%，三级差距揭示当前 Agent 在长程推理上的主要短板