news 2026/5/23 11:31:31

LeCun 10亿押注的方向,全球领先视觉大模型团队早已布局

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
LeCun 10亿押注的方向,全球领先视觉大模型团队早已布局
听雨 发自 凹非寺
量子位 | 公众号 QbitAI

Yann LeCun押注的世界模型路线,一匹深圳黑马也已提前落子。

他们是视启未来,做出全球第一视觉大模型——Grounding DINO、DINO-X——的那支团队。

他们并不满足于「看见世界」,而是正努力把AI进一步推向「预见未来」的能力边界。

现在,他们押注的是隐空间世界模型

要知道,LeCun为了这条技术路线,离开Meta、创办AMI Labs,完成10.3亿美元融资,创下欧洲史上最大种子轮纪录。

不同于主流世界模型预测下一帧画面长什么样,隐空间世界模型要求AI在更抽象的表征空间里,学习动作和世界状态变化之间的因果规律。

5月15日,在2026全球人工智能终端展暨第七届深圳国际人工智能展览会举办的「AGI前夜:大模型的觉醒时刻」论坛上,视启未来创始人张磊,更是在主题演讲中直言:

做世界模型很难,做隐空间世界模型更难,但我们会知难而进。

隐空间世界模型为什么是更难的那条路?难在哪里?

做出来又意味着什么?

「隐空间世界模型很难,但我们一定要做」

随着人工智能加速从数字世界走向物理世界,智能体面临的核心任务已经变了。

不仅要「看见」,而且要「预见」——理解因果关系,把握时空动态,在稀疏反馈与复杂约束下完成规划、决策与学习。

强化学习提供了从交互经验中学习的基本范式。看大语言模型这边,从ChatGPT应用强化学习,到o系列模型以及coding能力的突破,本质上都是一系列强化学习算法应用的突破。

但物理世界的样本效率低、安全约束严、交互成本高、环境不可重置,单纯依赖在线试错的方法,难以扩展到真实场景。

AI生成

张磊的判断是,真正的智能,不能只停留在「看到当前状态就输出动作」的层面

如果没有对未来状态的预想、对行动后果的预判,智能体就无法在物理世界中持续展开决策链条,也难以真正进入现实环境。

这正是世界模型的意义所在:让AI从经验数据中学习动作、状态与结果之间的因果关系,在行动前先「想象」下一步可能发生什么,为强化学习提供可扩展的内部预演空间。

在张磊看来,当前各种世界模型路线都在不同方向上推进得很快。但对于机器人和物理智能而言,一个核心挑战仍然存在:

模型学到的究竟是像素级相关性,还是可用于规划和控制的物理规律与因果关系?

模型在像素层面学习,很容易被纹理、光照、背景等细节干扰,学习效率低下,不利于学习真实的因果关系和物理规律。

这正是LeCun说「在输入空间做预测是糟糕的」的原因,也是隐空间世界模型的出发点

Latent表征的价值在于,它可以把高维、冗余的视觉输入压缩成更抽象的状态表示,过滤掉大量与决策无关的像素细节,把学习重点放到更本质的变化规律上。

可以说,表征学习是世界模型中最为核心的问题。

换句话说,隐空间世界模型不执着于「未来画面长什么样」,而更关注「世界状态如何演化」,因此更适合学习物理规律和因果关系。

但视启发现,现有的隐空间方案还差了关键的一步。

大多数latent表征虽然脱离了像素,却并不真正「理解物体」。

如果模型不知道场景里哪些是独立物体、物体之间是什么关系、哪些变化来自视角、哪些变化来自交互,那么它要直接在隐空间中学习物理规律,难度仍然非常高。

原因很简单:物理规律本质上并不作用在像素上,而是作用在物体、结构和关系上。

我们这里也做了张图,方便大家理解:

AI生成

张磊认为,latent表征必须具备理解物体的能力,才能更好地学习物理规律。

视启的解法是把物体理解能力引入latent表征学习中,通过2D感知、3D表征、分割和语义理解,让latent表征具备「世界由哪些物体构成、它们处于什么空间位置、具有什么语义属性」的基础认知,再进一步学习动作驱动下的状态转移和物理演化。

通过引入物体理解的结构信息,模型可以更高效地对数据进行压缩,从海量数据中学到内在的、更为本质的规律。

这样,模型学习的不再是黑盒式表征,而是一个更具对象性、空间性和物理性的结构化latent世界。

因此,视启将自己的路线称为「视觉原生世界模型」,这也是他们和其他隐空间世界模型的关键区别。

为了实现真正可落地的物理世界模型,张磊认为,这类模型需要同时具备三个核心特征:

Object-Centric,以物体为中心。

表征不能停留在像素层面,要具备对物体的理解能力,能够识别世界由哪些对象构成、它们之间如何交互。只有这样,模型才有可能从海量数据中学习到更稳定、更可泛化的物理规律,而不是停留在表面的视觉相关性上。

Action-Aligned,跨本体动作对齐。

把人手动作、机械臂操作以及不同机器人本体的数据对齐到统一表示空间,从而更高效地利用大量人类交互数据,帮助机器人更快学会如何与环境互动。

Causality-Driven,因果驱动。

世界模型要学的,是「执行某个动作之后,世界状态将如何变化」。只有具备这种因果建模能力,世界模型才能真正与强化学习结合,支持机器人在与环境持续交互中不断提升决策、学习和泛化能力。

张磊说,视启对方向的判断始终正确,只是赛道的热闹程度,确实超出了当初的预想。

不过,这反而印证了视启坚守隐空间路线的前瞻性——在所有人都往像素空间冲的时候,视启已经在更难、也更正确的方向上积累了先发优势。

从全球第一视觉大模型,到视觉原生世界模型

张磊对于世界模型的见地,并非空穴来风。

背后是视启长期构建的以物体为中心的视觉理解能力,也是这支团队数年的积累。

视启未来,其核心团队来自粤港澳大湾区数字经济研究院计算机视觉与机器人研究中心(IDEA CVR)孵化的DINO-X团队

团队已连续推出DINO、Grounding DINO、DINO-X等代表性工作,持续推动开放世界目标检测与物体级视觉理解的发展。

Grounding DINO已成为开放集检测的重要里程碑之一,而DINO-X则是面向开放世界物体理解的全球领先视觉大模型。

今年4月,谷歌DeepMind发表的Vision Banana论文中,也多处提到视启未来的DINO-X模型。

这篇论文的署名作者包括何恺明和谢赛宁,在SA-CO/Gold instance segmentation任务上,强调DINO-X是zero-shot transfer物体理解的全球SOTA。

此外,DINO系列论文也广泛被Meta的SAM2/SAM3、阿里的Qwen系列、字节的Seed系列引用。这反映出视觉物体理解基模门槛极高,依赖强大的视觉基座大模型预训练能力。

自2023年以来,视启未来凭借Grounding-DINO与DINO-X系列,在开放物体理解榜单上保持了最长的连续领先时间。

有趣的是,DINO的意思是「恐龙」,恐龙也是这个团队各种模型的标志。

他们还有一个基于视觉提示做物体检测的模型T-Rex2 (ECCV 2024),就是恐龙家族的霸王龙。

DINO系列解决的核心问题,正是Object-Centric世界模型最需要的底层能力:让机器真正「看懂」世界由哪些物体构成、它们在哪里、它们之间是什么关系。

视启未来的路线,更强调面向真实世界交互的Object-Centric表征能力,即围绕「物体是什么、在哪里、如何被引用、如何与环境发生关系」建立统一建模能力。

在此基础上,视启未来不仅在2D物体检测与分割,3D物体理解与语义理解上建立了显著优势,也持续向3D动作理解延伸,形成了从看见物体,到理解物体,再到理解动作与物体交互的完整能力栈。

从这个意义上说,视启做世界模型并不是转型,而是在其原有技术基础上的顺势延伸。

单个模型的成功还能归因于机会,那么连续做出Grounding DINO、DINO-X等这样的全球领先物体理解视觉基座大模型,更多说明的是团队底层能力已经成型。

对一家做基础模型的团队来说,这意味着它不仅会「做模型」,更掌握了数据组织、预训练范式、能力迁移和任务扩展的系统方法,这恰恰是基模训练能力最有说服力的体现。

这种能力已经开始在产品上体现。5月15日,视启未来联合百度智能云在2026全球人工智能终端展上正式发布EgoTwin——全球最新的高质量Ego人手3D对齐引擎。

如果说视觉原生世界模型是视启未来的长期技术路线,那么EgoTwin就是这条路线在具身智能数据层面的第一个产品化抓手。

EgoTwin直击行业最卡脖子的难题——把人手操作数据转化为机器人能用的训练数据,数据采集效率是行业主流方案的3.75倍。

更重要的是,EgoTwin并不只是一个数据采集工具:它一方面把人类Ego操作视频转化为机器人可学习的数据资产,另一方面也为世界模型提供Action-Aligned的训练底座,成为「数据引擎—模型迭代—本体落地」闭环的第一步。

更大的愿景,张磊直言:世界模型将成为物理世界AI的核心基础设施。

在他看来,数字世界中,大语言模型正在承担类似于OS(操作系统)的角色,底层是GPU算力,中间是大语言模型,上层是各种各样的Agent。

这条路已经被充分验证,无论是Coding领域还是其他Agent形态,都已经证明走得通。

物理世界里,同样的范式变化正在发生。只不过,物理世界的基础设施除了算力之外,还会加入机器人本体。

在这一层之上,张磊带领的世界模型团队正在打通Learning From Experience的范式,机器人在学习过程中可以变得更加自主、更加高效,由此获得更强的物理任务技能。

英伟达科学家Jim Fan年初说,下一个词预测是第一种预训练范式,现在我们正在经历第二次范式转变:下一个物理状态预测。

他预言,2026年将被载入史册,成为世界模型为机器人技术奠定真正基础的第一年。

张磊支持这个判断,同时强调一点:视觉,是物理智能最主要的信息入口,也是通向世界模型的关键优势方向。

视启未来长期积累的检测、识别、分割、跟踪、3D物体理解,3D动作理解与开放世界感知能力,不仅让机器更好地「看见」世界,也为其进一步建模世界、预演未来、支撑行动提供了坚实基础。

世界级目标,吸引世界级人才

要做世界级的模型,首先得有世界级的团队。

视启未来创始人兼CEO张磊,是这支团队最重要的底色。

张磊博士,师承中国人工智能奠基人张钹院士,并曾长期在计算机科学与人工智能领域世界级专家、美国国家工程院外籍院士沈向洋先生领导下工作。

作为 IEEE Fellow,他累计发表200余篇顶级会议和期刊论文,Google Scholar 总引用已超过7.3万次。

他曾在微软亚洲研究院、微软总部研究院及计算机视觉相关产品部门任首席研究员,带领研究组从事计算机视觉基础研究,及其在大规模图像分析、物体检测、视觉语言多模态理解方面的应用,研究成果被广泛用于微软必应搜索及认知服务云计算平台。

值得一提的是,在张磊进行博士深造之前,是国内最早一批参与室内移动机器人研究的人员之一。

绕了一个大圈,从机器人到计算机视觉,再从视觉回到机器人,这条轨迹并非偶然,而是他对物理世界AI判断的一贯逻辑在驱动。

2021年,张磊加入IDEA研究院,带领团队研发DINO-X视觉大模型,为机器赋予物体级理解能力。

随后其孵化视启未来,将这套能力推向世界模型赛道。

视启未来还邀请了张钹院士、沈向洋院士担任科学顾问。团队核心成员主要来自清华大学、微软、腾讯等顶尖高校与国内外科技大厂。

据视启透露,团队中约50%具有清华背景,约20%拥有智能驾驶相关经验,80%为90后青年人才,100%具备海外或国内头部科技企业经历。

近期,视启在北京进一步吸引了多位国内机器人和强化学习方向的优秀年轻算法人才加入。

他们的主动选择加入,本身就是一种投票——投的是视启在世界模型方向上的技术判断,也是他们对这支团队能够再创辉煌的信心。

做世界模型很难,做隐空间世界模型更难。

曾经做出世界第一视觉大模型的视启团队,正把同样的信念,押注在隐空间世界模型上。

张磊和他的视启未来,正走在将隐空间世界模型贯彻到底、知难而进的路上。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/23 11:31:30

生成式AI落地实战:2023年工作流重构与组织能力迁移

1. 这不是预测,是正在发生的现场记录 Generative AI: What Will Change in 2023——这个标题在2023年初刷屏时,我正坐在深圳南山一家创业公司会议室里,盯着屏幕上刚跑通的LoRA微调模型输出的三张产品图。它没生成“未来感”十足的科幻场景&a…

作者头像 李华
网站建设 2026/5/23 11:30:29

Godot PCK解包原理与生产级工具链实战指南

1. 为什么PCK解包不是“点一下就完事”的魔法,而是Godot开发者绕不开的基本功 在Godot项目交付或逆向分析场景中,“这个PCK文件里到底塞了什么?”几乎是每个遇到资源加载失败、版本兼容异常、或需要紧急热修复的开发者问出的第一句话。PCK&am…

作者头像 李华
网站建设 2026/5/23 11:29:53

5分钟告别Windows预览版烦恼:OfflineInsiderEnroll终极指南

5分钟告别Windows预览版烦恼:OfflineInsiderEnroll终极指南 【免费下载链接】offlineinsiderenroll OfflineInsiderEnroll - A script to enable access to the Windows Insider Program on machines not signed in with Microsoft Account 项目地址: https://git…

作者头像 李华
网站建设 2026/5/23 11:29:27

3分钟快速为Windows 11 LTSC企业版安装微软商店的完整指南

3分钟快速为Windows 11 LTSC企业版安装微软商店的完整指南 【免费下载链接】LTSC-Add-MicrosoftStore Add Windows Store to Windows 11 24H2 LTSC 项目地址: https://gitcode.com/gh_mirrors/ltscad/LTSC-Add-MicrosoftStore Windows 11 24H2 LTSC企业版以其卓越的稳定…

作者头像 李华
网站建设 2026/5/23 11:26:00

百度网盘Mac版加速指南:三步解锁SVIP极速下载体验

百度网盘Mac版加速指南:三步解锁SVIP极速下载体验 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 你是否曾经在macOS上下载大文件时&#x…

作者头像 李华
网站建设 2026/5/23 11:22:08

VideoDownloadHelper:免费视频下载插件终极使用指南

VideoDownloadHelper:免费视频下载插件终极使用指南 【免费下载链接】VideoDownloadHelper Chrome Extension to Help Download Video for Some Video Sites. 项目地址: https://gitcode.com/gh_mirrors/vi/VideoDownloadHelper 你是否经常遇到想要保存网页视…

作者头像 李华