视频理解+开放网络搜索=首个视频Deep Research评测基准

新智元报道

编辑：LRST

【新智元导读】现有的多模态模型往往被困在「视频」的孤岛里——它们只能回答视频内的问题。但在真实世界中，人类解决问题往往是「看视频找线索 -> 上网搜证 -> 综合推理」。为了填补这一空白，来自QuantaAlpha、兰州大学、香港科技大学（广州）、北京大学等机构的研究者联合推出了首个视频深度研究（Video Deep Research）评测基准VideoDR。

在传统的视频问答（VideoQA）中，答案通常就在视频里。

然而，真正的智能Video Agent应该具备Deep Research的能力。

试想这样一个场景：你看到视频中博物馆的一个展品，想知道「该博物馆推荐的展品中，距离这个展品最近的那个，其注册编号是多少？」

这不仅仅需要理解视频（识别展品、定位位置），还需要跳出视频，去博物馆官网查找地图、推荐列表和编号信息。

论文链接：https://arxiv.org/abs/2601.06943

代码链接：https://github.com/QuantaAlpha/VideoDR-Benchmark

VideoDR (Video Deep Research) 正是为此而生，它定义了一个全新的任务范式：

1. 多帧视觉线索：从多个视频帧中准确识别连续的关键信息进行推理。
2. 交互式网络搜索：在浏览器环境中进行交互，执行多跳深度搜索。
3. 多跳推理验证：结合视频线索和网络证据，提供可验证的事实性答案。

为了保证评测的含金量，VideoDR并没有采用自动化生成，而是进行了严格的人工标注与质检。

双重依赖性测试：剔除了那些「只看视频就能答」或「只搜文字就能答」的样本，确保模型必须结合两者能力。

六大领域覆盖：涵盖日常生活、经济、科技、文化、历史、地理。

Workflow vs. Agentic

研究人员对比了两种主流范式：

• Workflow（工作流模式）： 将视频转化为结构化文本线索，再进行搜索推理。
• Agentic（代理模式）： 模型直接端到端处理视频和搜索，自主决定何时搜索、何时思考。

评测模型：

• 闭源模型： GPT-5.2, GPT-4o, Gemini-3-pro-preview
• 开源模型： Qwen3-Omni-30B-a3b, InternVL3.5-14B, MiniCPM-V 4.5

核心发现与洞察

谁是目前的最强王者？

Gemini-3-pro-preview和GPT-5.2处于第一梯队，准确率达到了69%-76%左右，显著领先于其他模型。

Agentic 模式一定更强吗？

答案是：不一定。

虽然 Agentic 模式更灵活，但在长视频或高难度任务中，模型容易出现目标漂移（Goal Drift）。

• Workflow 的优势： 显式的中间文本充当了「外部记忆」，防止模型在漫长的搜索链路中忘记最初视频里的视觉细节。
• Agentic 的短板： 一旦初始的视觉感知出现偏差，且无法回看视频，错误的搜索路径会被不断放大。

长视频是「照妖镜」

在长视频场景下，模型保持长期一致性（Long-horizon Consistency）的能力成为瓶颈。

强如Gemini-3在Agentic模式下能利用长上下文获得提升，而部分开源模型在长视频下性能反而大幅下降。

总结

VideoDR将视频理解的战场从封闭测试集延伸到了无限的开放网络。

评测结果深刻揭示了「端到端」并非万能药：在面对长链路搜索时，模型往往会陷入「记忆衰退」的困境。

未来的视频 Agent 只有在保持视觉线索的长程一致性上取得突破，才能真正胜任真实世界的复杂调研任务。

参考资料：

https://arxiv.org/abs/2601.06943