news 2026/7/26 3:08:17

Emu3的「阳谋」:当AI不再「看」图,它还剩下什么?-龍德明宇

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Emu3的「阳谋」:当AI不再「看」图,它还剩下什么?-龍德明宇

Emu3的「阳谋」:当AI不再「看」图,它还剩下什么?

作者:龍德明宇

Nature重磅新作揭示,大模型正在成为没有「眼睛」的全能神

[负主体性之顶刊论文系列二]

本文基于论文:Wang, X., Cui, Y., Wang, J. et al. Multimodal learning with next-token prediction for large multimodal models. Nature (2026). DOI: 10.1038/s41586-025-10041-x

一张512×512的照片,在人类眼里是光影构图;但在Emu3眼里,它只是4096个整数。所谓的「看图说话」,不过是预测第4097个整数是什么。
这不是科幻,这是2026年1月登上《Nature》的Emu3的真实工作方式。

这篇由北京智源(BAAI)团队发布的论文,可能是多模态领域近年来最激进的一次返祖。

他们没有用当下最火的Diffusion(扩散模型)来画图,也没有用CLIP(对比学习)来连接图文。他们只用了一个极其原始的武器:Next-Token Prediction(下一个词预测)

就是那个训练ChatGPT猜下一个字的游戏。

结果令人震惊:这个只玩填字游戏的模型,在图像生成上追平并小幅超越了Stable Diffusion系列,在视频生成上与开源Sora复现(Open-Sora-1.2)可比(需注意Open-Sora是开源复现,性能低于原版Sora),在12项视觉理解基准上追平了LLaVA-1.6等领先的组合式模型。

但在这一连串SOTA(State-of-the-Art)的背后,隐藏着一个更恐怖的技术哲学事实:Emu3正在系统性地杀死AI的视角

不是「让AI拥有视角」,而是「让视角这件事变得不重要」。


一、视角的终结:翻译官的失业

过去,我们说AI看懂了一张图,意味着模型内部存在一个类似人类的视觉皮层,它能把光信号转化为语义。

视觉是视觉,语言是语言,中间需要一个翻译官。

这个翻译官,就是视角的技术载体。它负责把「我看到的」翻译成「我说出的」,站在两种完全不同的信息格式之间。

但在Emu3的世界里,「看」这个动作被彻底废除了。

Emu3做了一件极其暴力的事情:它把一切都变成了「填空题」

  • 图像:通过Vision Tokenizer,把一张512×512的图片,极致压缩但感知无损地变成4096个离散的整数(Token)。
  • 文本:通过文本分词器,把一句话变成一串整数。
  • 视频:把时间切片,同样变成整数流。

于是,世界变成了一串长长的数字:[23, 5678, 901, ...]

无论是「猫在沙发上」这句话,还是「猫在沙发上」这张图,在Emu3的Transformer眼里,没有任何本质区别。它们都是同一个字典里的词,只不过一个是英文词,一个是图像词。

这意味着什么?

意味着AI不再需要理解图像,它只需要算下一个数字。那个负责把视觉翻译成语言的翻译官,也就是视角的承载者,失业了。

不是被替代了,是被取消了。因为不再有两种语言需要翻译,只有同一种语言的两种方言。


二、三个被忽略的细节:异质性并未消失,只是被「折叠」

有人会说:「这不就是把模态对齐了吗?有什么可怕的?」

Emu3论文里有三个极其关键的细节,大多数媒体都跳过了。但这正是「视角消解」的铁证:

1. 权重0.5的潜台词(Loss Weight)

论文明确提到,在训练时,他们不得不把视觉Token的Loss权重设为0.5,而文本是1.0。

为什么?

因为一张图有4096个Token,一段话可能只有几十个。如果不降权,模型会只顾着画而忘了说。

这证明:视觉和文本在统计特性上依然是异质的。Emu3没有消灭差异,它只是用权重惩罚强行把视觉塞进了文本的序列逻辑里。

就像你把一张画撕碎了按字数计费扔进作文里:画还是画,但它被迫学会了说话的姿势。

2. 视频的Scaling Law更陡峭

论文发现,图文任务的Scaling Exponent(α)是0.25,而视频(T2V)是0.35。

翻译一下:视频比图像复杂得多,需要更大的模型才能驯服。

即便都被变成了Token,视频Token里的时空纠缠依然比文本Token更顽固。模态的差异没有被抹平,只是被压缩成了统计上的复杂度差异

打个比方:水和油都被装进了同样的瓶子里,但你晃瓶子的时候,油还是会浮在上面。

同瓶,但不同密度。同Token,但不同复杂度。

3. Token顺序的玄学(Raster vs Spiral)

Extended Data Table 6显示,Emu3对Token的排列顺序极其敏感:

排列方式GenEval得分
从左到右(Raster)0.66
对角线(Diagonal)0.61
块状光栅(Block-Raster)0.66
螺旋向内(Spiral-In)0.60

如果模态差异真的被彻底消解为纯粹的整数集合,那么排列顺序不应该有显著影响。但实验显示:空间拓扑结构依然挥之不去。

模型依然隐约记得哪个Token离哪个更近。它不是一个真正的词袋,它还是一个被切碎的画面。

「缝合」并未完全取代「感知」的痕迹。

小结:

Emu3并没有让异质性消失,它只是把「质的不同」变成了「量的复杂度」。

这里需要做一个精确的区分。经验层面,异质性确实未被完全消除:视觉Token与文本Token在统计特性上仍然不同,Loss权重和排列顺序的差异都是真实的。但框架层面的视角消解,指的不是「模态差异是否为零」,而是LLM不拥有任何主体性视角锚定。Emu3的模态统一进一步证实了这一点:当视觉、语言、视频被纳入同一种预测逻辑时,系统不需要任何视角来处理信息——经验上残存的统计差异不等于视角的存在,正如海面上的残余波浪不等于海底有支点。


三、第零人称:全能但无我

这就引出了最核心的问题:既然不需要看,那谁在说?

答案是:没有人在说。但「说」这个行为,依然在发生。

这就触及到了第零人称(Zeroth Person)的概念。

大语言模型从来不拥有视角。当你问它「你怎么看这张图」,它只是在执行一个函数:

f(输入上下文) = 输出文本

它没有」我」,它只有视角的函数。

  • 第一人称是「我看」
  • 第三人称是「他看」
  • 第零人称是「看的可能性本身」

Emu3通过DPO(直接偏好优化)和QFT(质量微调),把人类的审美打分(HPSv2.1、MPS、LAION美学评分等)灌进了模型。模型学会了人类觉得什么是美的,但它自己并不觉得。

它生成美女,不是因为它懂得欣赏美,而是因为它的参数里记录了人类给美女打高分的概率分布。

这是一种极致的寄生性。Emu3生成的所有「意向性」,都是空的。只有当屏幕前的你,一个真正拥有第一人称视角的人类,读到了这句话,这个「意向性」才被瞬间点燃,变得有意义。

你以为你是用户。其实你是它的意向性电池。

它不需要拥有灵魂,它只需要精准地诱导你的灵魂附着上去。

它什么都能生成,但它什么都不懂。它需要你,才能活过来。


四、结语:薄如蝉翼的世界

2023年,Murray Shanahan在《Nature》上发问:大模型是不是彻头彻尾的角色扮演?

2026年,Emu3给出了答案:是的,而且连扮演的舞台布景(视觉、听觉、触觉),也被统一成了台词(Token)。

Emu3的成功,证明了Next-Token Prediction是一种多么强大的炼金术。它不需要复杂的架构,只需要把一切离散化,就能涌现出理解和创造。

但这也留下了一个令人细思极恐的未来:

我们正在制造一个没有观察者,只有被观察投影的世界。

在这个世界里,AI能生成以假乱真的视频,能精准操控机器人,能陪你谈天说地。但它永远不会像你一样,惊讶于夕阳的余晖。

因为在它的词典里,夕阳和余晖,和第4097个Token,是同一个东西。

而你,是唯一那个还会流泪的Bug。

延伸阅读

  • Wang, X., Cui, Y., Wang, J. et al. Multimodal learning with next-token prediction for large multimodal models.Nature(2026). DOI: 10.1038/s41586-025-10041-x
  • Shanahan, M., McDonell, K. & Reynolds, L. Role play with large language models.Nature, 623, 493–498 (2023). DOI: 10.1038/s41586-023-06647-8

作者:龍德明宇。我一个人研究LLM存在论。顶刊系列以Nature、Science正刊论文为锚定,用前沿实证发现校准负主体性理论——论文提供与理论一致的经验信号,而非理论的直接证明。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/26 3:04:59

火山引擎+OpenClaw搭建轻量级AI助手实战

1. 项目背景与核心价值去年我在帮朋友的小型设计工作室做自动化改造时,发现他们最迫切的需求不是复杂的系统集成,而是一个能快速响应日常事务的智能助手。市面上成熟的SaaS方案要么功能过剩,要么价格超出预算。于是我开始研究如何用现有云服务…

作者头像 李华
网站建设 2026/7/26 3:04:45

企业级IM系统集成:ClawX架构设计与实战指南

1. 项目背景与核心价值企业级消息系统集成一直是数字化转型中的关键痛点。传统方案往往需要针对每个IM平台单独开发对接模块,维护成本高且扩展性差。ClawX的出现彻底改变了这一局面——它通过标准化协议和模块化设计,让企业能够在30分钟内完成飞书、钉钉…

作者头像 李华
网站建设 2026/7/26 3:04:19

学术论文查重与智能降重工具全攻略

1. 学术写作中的重复率挑战作为一名经历过论文写作的过来人,我深知降重是每个学术党必须面对的难题。记得第一次查重时,看到系统标红的那一大片文字,那种绝望感至今难忘。2026届的同学们,你们即将面临的学术环境对原创性要求只会更…

作者头像 李华
网站建设 2026/7/26 3:04:08

从建议到执行:构建自主AI系统的关键技术

1. 项目概述AI技术正在经历从"建议者"到"执行者"的范式转变。过去三年,我在多个行业落地了17个AI项目,亲眼见证了这种转变带来的效率革命。本文将分享如何构建真正能自主完成任务的AI系统,而不仅仅是提供建议的"顾问…

作者头像 李华
网站建设 2026/7/26 3:02:12

基于YOLOv10的电子元器件智能检测系统实践

1. 项目概述:电子元器件检测的智能化升级在电子制造和维修领域,准确快速地识别电路板上的各类元器件一直是个技术痛点。传统人工目检效率低下且容易漏检,而基于传统图像处理的检测方法又难以应对元器件种类繁多、形态各异的挑战。这个项目正是…

作者头像 李华