news 2026/7/15 6:09:02

Video版的Deep Research来了?先浏览再定位后精读:精度提升token消耗反降58.3%

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Video版的Deep Research来了?先浏览再定位后精读:精度提升token消耗反降58.3%

研究团队提出了Video-Browser,并构建了全新的基准测试Video-BrowseComp。

在当前的AI Research浪潮中,Autonomous Agents已经改变了我们获取信息的方式——从被动接收到主动检索。

然而,现有的Agent似乎都有一个共同的处理盲区:视频。

视频是互联网上信息密度最高的模态。但现有的AI要么是阅读理解高手(处理文本),要么只能盯着被喂到嘴边的一小段视频片段做问答。

真正的Agentic Video Browsing应该是什么样的?

它应该像人类一样:在海量视频中主动搜索,通过标题筛选,快速拖动进度条定位,最后只在关键时刻“全神贯注”地观看细节。

基于这个理念,研究团队提出了Video-Browser,并构建了全新的基准测试Video-BrowseComp

为什么现在的Agent “看”不好视频?

在开放世界的视频搜索中,现有的方法面临着一个两难的困境(Modality Gap vs. Context Explosion):

1. 直接视觉推理(Direct Visual Inference,e.g.,RAG):简单粗暴地把视频帧流喂给MLLM。效果好,但贵到离谱。长视频会导致Context瞬间爆炸,不仅推理慢,还受限于上下文窗口。

2. 文本摘要(Summarization):先把视频转成文本摘要,再让Agent读文本。省钱了,但细节丢了。很多视觉细节(如“那只笔是什么颜色的?”)无法被通用的文本摘要捕捉。

我们需要一种既能像文本搜索一样高效,又能像视觉推理一样精准的新范式。

方法:Video-Browser与Pyramidal Perception

为了解决上述问题,研究团队提出了一种名为Pyramidal Perception(金字塔感知)的架构。

正如其名,研究团队将视频处理过程看作一个金字塔,由底向上,层层递进,计算量逐级增加,但处理的数据量逐级减少。

整个Video-Browser Agent包含三个核心组件:Planner(规划器)、Watcher(观察者)和Analyst(分析师)。

其中最核心的Watcher采用了三层金字塔机制:

Stage I: Semantic Filter(语义过滤-塔底)

面对海量的搜索结果,不需要打开每一个视频。Agent首先利用LLM分析视频的元数据(标题、简介等),以“零视觉成本”快速剔除无关内容,只保留最有希望的候选者。

Stage II: Sparse Localization(稀疏定位-塔身)

对于入选的视频,不需要从头看到尾。Agent结合全量字幕和稀疏采样帧,快速扫描视频结构,定位出可能包含答案的时间窗口(Temporal Proposals)。

Stage III: Zoom-in(聚焦精读-塔尖)

这是最关键的一步。在锁定的极短时间窗口内,进行高帧率解码,调用强大的MLLM进行精细的视觉推理。将最昂贵的计算资源,只花在最有价值的几秒钟上。

基准测试:Video-BrowseComp

为了验证Agent的能力,研究团队发现现有的video benchmark往往陷入了被动感知的误区:给模型一段剪好的视频,问它里面发生了什么。

但这并不是真实的Agent。在真实世界中,Agent不会有人把视频喂到嘴边,它们必须像人类一样,在开放的互联网海洋中主动寻找线索。为了衡量这种真正的Agentic能力,研究团队构建了Video-BrowseComp。”

这是一个要求Agent必须具备Mandatory Video Dependency(强制视频依赖)的基准测试。其设计原则是:“Hard-to-Find,Easy-to-Verify”。

研究团队设计了三个难度等级:

Level 1 (显式检索):有明确的关键词,考查定位能力。

Level 2 (隐式检索):没有直接关键词,需要理解描述并进行推理。

Level 3 (多源推理):最难级别。答案分散在多个视频中,需要Agent像侦探一样拼凑线索。

实验结果:更准,更省

研究团队在Video-BrowseComp上对比了GPT-5.2,Gemini-1.5-Pro等SOTA模型(包括Search-Augmented版本)。结果显示:

性能提升:Video-Browser (基于GPT-5.2)达到了26.19%的准确率,相比直接视觉推理基线提升了37.5%。

效率飞跃:得益于金字塔感知,研究团队的Token消耗降低了58.3%。

打破Deep Research垄断:研究团队的方法在视频任务上甚至优于OpenAI的o4-mini-deep-research,证明了在视频领域,高效的视觉感知策略的优异性。

Case Study:眼见为实

来看一个经典的例子(Benchmark Level 3):

问题:在电影《白日梦想家》中,主角Walter Mitty胸口口袋里有一支笔贯穿全片,笔盖的出现暗示了他内心的渴望。请问这支笔是什么颜色的?

直接视觉推理(Direct Visual Inference):看了所有帧,但由于信息过载,模型声称“没看到笔” 。

文本摘要(Summarization):通过将电影转成文本,但文本中没有提到“笔的颜色”这种细节,模型回答“未提及” 。

Video-Browser (Ours):成功定位到特写镜头,Zoom-in模式下清晰识别出了红色的笔盖,回答正确!

总结与展望

Video-Browser是迈向Agentic Open-web Video Browsing的重要一步。

研究团队通过模拟人类的认知过程——先浏览、再定位、后精读,成功解决了视频搜索中精度与成本的矛盾。

所有的代码、数据和Benchmark现已开源,研究团队希望该工作能为社区提供一个新的研究支点。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/15 0:18:10

57.1%的人分不清真假!Runway新视频模型太爆炸

这超超超逼真的——Gen 4.5模型效果到底咋样?咱一起来看!不er,这个世界还有什么是真的?反正我是已经分不清了...短短3秒,连续切了3个镜头,从人物脸上的皮肤纹理,到满天纷飞的大雪,细…

作者头像 李华
网站建设 2026/7/8 5:45:44

第一梯队的大模型安全吗?复旦、上海创智学院等发布前沿大模型安全报告,覆盖六大领先模型

本报告致力于为全球人工智能安全研究提供一份基于系统实证的关键参照坐标。随着大语言模型加速迈向多模态与智能体形态,传统以单一维度为主的安全评估体系已难以覆盖真实世界中的复杂风险图景。在模型能力持续跃升的 2026 年,开发者与用户也愈发关注一个…

作者头像 李华
网站建设 2026/7/8 5:45:45

普通Java程序员有必要深究源码吗?

最近后台收到小伙伴留言,说的是程序员究竟要不要去读源码?当下行情,面试什么样的薪资/岗位才会被问到源码? 对此,我的回答是:一定要去读,并且要提到日程上来! 据不完全统计&#x…

作者头像 李华
网站建设 2026/7/8 0:26:45

高压漏电起痕试验仪

从用户视角看高压漏电起痕试验仪:选购、应用与行业实践 高压漏电起痕试验仪:电气安全的新挑战与用户需求在电气设备日益普及的今天,绝缘材料的安全性能已成为产品设计的核心考量。潮湿、多尘或盐雾环境中的漏电起痕现象,如同电气…

作者头像 李华
网站建设 2026/7/12 5:53:03

YOLOv13 全面教程:MogaBlock 模块原理深度解析与实战修改(手把手教学)

好的,这是一份关于 MSBlock 模块的详细原理讲解和小白友好型安装教程。我们将深入探讨其设计理念、内部机制,并提供手把手的移植步骤。 文章目录 @[toc] 1. 引言:为什么需要多尺度特征? 2. MSBlock 模块概览 2.1 MSBlock 的定位 2.2 整体流程 3. 核心子模块原理详解 3.1 MS…

作者头像 李华