news 2026/2/5 23:06:22

视频理解+开放网络搜索=首个视频Deep Research评测基准

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
视频理解+开放网络搜索=首个视频Deep Research评测基准

来自QuantaAlpha、兰州大学、香港科技大学(广州)、北京大学等机构的研究者联合推出了首个视频深度研究(Video Deep Research)评测基准VideoDR。

在传统的视频问答(VideoQA)中,答案通常就在视频里。

然而,真正的智能Video Agent应该具备Deep Research的能力。

试想这样一个场景:你看到视频中博物馆的一个展品,想知道「该博物馆推荐的展品中,距离这个展品最近的那个,其注册编号是多少?」

这不仅仅需要理解视频(识别展品、定位位置),还需要跳出视频,去博物馆官网查找地图、推荐列表和编号信息。

论文链接:https://arxiv.org/abs/2601.06943

代码链接:https://github.com/QuantaAlpha/VideoDR-Benchmark

VideoDR (Video Deep Research) 正是为此而生,它定义了一个全新的任务范式:

  1. 多帧视觉线索:从多个视频帧中准确识别连续的关键信息进行推理。
  2. 交互式网络搜索:在浏览器环境中进行交互,执行多跳深度搜索。
  3. 多跳推理验证:结合视频线索和网络证据,提供可验证的事实性答案。

为了保证评测的含金量,VideoDR并没有采用自动化生成,而是进行了严格的人工标注与质检。

双重依赖性测试:剔除了那些「只看视频就能答」或「只搜文字就能答」的样本,确保模型必须结合两者能力。

六大领域覆盖:涵盖日常生活、经济、科技、文化、历史、地理。

Workflow vs. Agentic

研究人员对比了两种主流范式:

  • Workflow(工作流模式): 将视频转化为结构化文本线索,再进行搜索推理。
  • Agentic(代理模式): 模型直接端到端处理视频和搜索,自主决定何时搜索、何时思考。

评测模型:

  • 闭源模型: GPT-5.2, GPT-4o, Gemini-3-pro-preview
  • 开源模型: Qwen3-Omni-30B-a3b, InternVL3.5-14B, MiniCPM-V 4.5
核心发现与洞察

谁是目前的最强王者?

Gemini-3-pro-preview和GPT-5.2处于第一梯队,准确率达到了69%-76%左右,显著领先于其他模型。

Agentic 模式一定更强吗?

答案是:不一定。

虽然 Agentic 模式更灵活,但在长视频或高难度任务中,模型容易出现目标漂移(Goal Drift)。

  • Workflow 的优势: 显式的中间文本充当了「外部记忆」,防止模型在漫长的搜索链路中忘记最初视频里的视觉细节。
  • Agentic 的短板: 一旦初始的视觉感知出现偏差,且无法回看视频,错误的搜索路径会被不断放大。
长视频是「照妖镜」

在长视频场景下,模型保持长期一致性(Long-horizon Consistency)的能力成为瓶颈。

强如Gemini-3在Agentic模式下能利用长上下文获得提升,而部分开源模型在长视频下性能反而大幅下降。

总结

VideoDR将视频理解的战场从封闭测试集延伸到了无限的开放网络。

评测结果深刻揭示了「端到端」并非万能药:在面对长链路搜索时,模型往往会陷入「记忆衰退」的困境。

未来的视频 Agent 只有在保持视觉线索的长程一致性上取得突破,才能真正胜任真实世界的复杂调研任务。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/5 7:15:33

第一梯队的大模型安全吗?复旦、上海创智学院等发布前沿大模型安全报告,覆盖六大领先模型

本报告致力于为全球人工智能安全研究提供一份基于系统实证的关键参照坐标。随着大语言模型加速迈向多模态与智能体形态,传统以单一维度为主的安全评估体系已难以覆盖真实世界中的复杂风险图景。在模型能力持续跃升的 2026 年,开发者与用户也愈发关注一个…

作者头像 李华
网站建设 2026/2/4 8:40:25

普通Java程序员有必要深究源码吗?

最近后台收到小伙伴留言,说的是程序员究竟要不要去读源码?当下行情,面试什么样的薪资/岗位才会被问到源码? 对此,我的回答是:一定要去读,并且要提到日程上来! 据不完全统计&#x…

作者头像 李华
网站建设 2026/1/30 15:00:59

高压漏电起痕试验仪

从用户视角看高压漏电起痕试验仪:选购、应用与行业实践 高压漏电起痕试验仪:电气安全的新挑战与用户需求在电气设备日益普及的今天,绝缘材料的安全性能已成为产品设计的核心考量。潮湿、多尘或盐雾环境中的漏电起痕现象,如同电气…

作者头像 李华
网站建设 2026/2/4 16:48:36

YOLOv13 全面教程:MogaBlock 模块原理深度解析与实战修改(手把手教学)

好的,这是一份关于 MSBlock 模块的详细原理讲解和小白友好型安装教程。我们将深入探讨其设计理念、内部机制,并提供手把手的移植步骤。 文章目录 @[toc] 1. 引言:为什么需要多尺度特征? 2. MSBlock 模块概览 2.1 MSBlock 的定位 2.2 整体流程 3. 核心子模块原理详解 3.1 MS…

作者头像 李华
网站建设 2026/2/5 7:05:18

论文优化工具指南:人工智能翻译与润色功能TOP8

�� 8款英文论文AI写作工具核心对比 工具名称 核心功能 处理速度 适合场景 独特优势 aibiye 降AIGC率查重 20分钟 学术论文优化 适配知网/维普检测规则 aicheck AIGC检测降重 20分钟 AI生成内容处理 双重检测降重一体化 askpaper 学术风格…

作者头像 李华