语言模型如何学会筛选，世界模型如何学会补全：从人脑感知到人工智能的混沌降维逻辑

摘要

客观世界的信息量趋近于无限，而任何智能系统的算力都是有限的。人脑解决这一矛盾的方式，是一套「离散采样—预测补全—整合校准」的混沌降维机制；今天最前沿的语言模型与世界模型，正在用另一套材料重走同一条路。本文以人脑感知系统为原型，从人工智能的两个核心方向深度展开：语言模型如何在无限 Token 中学会用注意力机制筛选信息，世界模型如何在时空混沌中学会用先验预测补全缺口。文章提出：语言模型的注意力是从预测任务中涌现出的离散采样器，世界模型的预测补全则是对人脑先验插值的机器复刻；二者共同揭示，面对同一个混沌世界，任何有限智能都只能选择同一种生存策略——先降维，再补全，用稳定换取够用。

一、同一个混沌，两种有限智能

我们生存的世界，底层是混沌的。

从信息密度看，真实环境里的光、声、力、化学信号连续且无限，每一个瞬间都充斥着远超任何有限系统处理极限的细节。人脑面对的是这个混沌，人工智能面对的是另一个同样混沌的空间：无限长的 Token 序列、无限高的时空分辨率、无限多的物理状态组合。语言模型要在几十亿 Token 里找到「下一个词」的线索，世界模型要从一段被遮挡、被截断、被噪声污染的画面里，重建出一个连续可导的物理世界。

问题的本质是同一个：算力有限，信息无限。

人脑解决它的方式，是在感知边界上砍掉绝大多数冗余，再用先验模型把剩余的采样点缝合起来。语言模型和世界模型，正在分别复刻这两步。语言模型的核心部件——注意力机制——本质上学会了人脑感知的第一道闸门：离散采样。世界模型的核心能力——预测补全——本质上学会了人脑的第二道工序：先验插值。两条 AI 主线，恰好对应人脑感知系统的两个阶段。

下面分别展开。

二、语言模型：在无限 Token 里学会「筛选」

（一）离散化：把连续语义切成 Token

语言模型处理世界的第一步，和人脑一样，是先把连续的东西切碎。

自然语言在人脑中是连续、模糊、充满重叠边界的声音流和语义流；进入神经网络之前，它必须先被离散化为一串 Token——可能是子词、汉字或词元。这一步看似只是工程处理，本质上却是一次信息采样：模型不再面对连续的语义之流，而是面对有限种类的离散符号，每个 Token 只代表一段被量化后的语义区间。

这与人脑把连续光强转化为「全有全无」的动作电位、把连续声波转化为耳蜗基底膜上不同位置的放电报告，逻辑上完全一致。连续信息一旦被离散化，就有条件被选择性处理、被过滤、被压缩——这是后续一切智能操作的前提。

（二）注意力：一套可学习的「重要性过滤器」

离散化只是切碎了信息，真正学会「筛选」的，是注意力机制。

Transformer 的注意力计算，本质上是每个 Token 发出一个 Query（查询），去上下文中检索所有 Key（键），按相似度计算权重，再按权重聚合 Value（值）。这个过程的输出，不是一个均匀的平均，而是一个加权后的聚焦结果：与当前任务相关的 Token 被放大，无关的背景被压低。

这就是一套可学习的「重要性过滤器」。模型学会把有限的计算资源集中到与当前预测最相关的少数几个 Token 上，而不是平等地处理整段上下文。它对应的是人脑在丛林中的选择性注意——优先响应生物运动、面部表情、危险线索，对无关背景自动淡化。

（三）预测任务如何逼出筛选能力

值得追问的是：注意力模型并不是被「设计」成过滤器的，它是被训练目标逼出来的。

语言模型的核心训练目标极其朴素：「根据前文预测下一个 Token」。模型初始化时，注意力权重近乎均匀——每个 Token 对当前 Token 的贡献差不多，此时它「什么都看，等于什么都没看」，输出近乎随机。

但为了把预测误差降到最低，模型必须学会一个隐性的取舍：哪些历史 Token 真正决定了下一个词，哪些只是噪声。于是梯度下降反复调整 Q、K、V 三组矩阵，让注意力分数逐渐从「均匀分布」收敛到「尖峰分布」——相关 Token 的权重被抬高，无关 Token 的权重被压低。训练完成后，模型面对一段新的输入，不再遍历全部信息的等价贡献，而是根据当前 Token 的 Query，去检索上下文里最相关的 Key，再按权重聚合对应的 Value。

这就是为什么说注意力是「涌现」出来的筛选能力：不是工程师写了一条「要重视主语、忽略副词」的规则，而是预测任务本身让模型发现，只有学会筛选，才能活下来。

（四）稀疏注意力与 MoE：机器版的分箱采样

人脑听力的一个巧妙之处，是耳蜗基底膜按位置分解频率——不同频率的声波激活不同位置的神经细胞。复杂声音被拆成「哪个位置在振、振得多强」的离散计数，而不是让所有神经元处理所有频率。

现代大模型中的稀疏注意力与 MoE（混合专家）架构，直接复刻了这一逻辑。

稀疏注意力让每个 Token 只参与窗口内或选定锚点的注意力计算，而不是与全部上下文交互，相当于在注意力层面做了一次采样降频。MoE 则把模型拆成多个「专家」，每个专家负责不同的输入子空间，路由器根据当前 Token 的特征将其分发到最相关的少数几个专家上，而不是让每个 Token 都经过全部参数。这与人脑的分箱采样如出一辙：模型不需要每个 Token 都经过全部参数，只需要路由到最相关的「感受器」上。

从 Token 离散化，到注意力筛选，再到稀疏与 MoE 分箱，语言模型复刻了人脑感知的第一阶段：不追求完整，只追求有用；不记录连续，只采样变化。但这套筛选并不天然可靠——深度推理中的要点稀释与语义漂移说明，语言模型不仅要学会记住什么，还要学会在正确的时间忘记什么。

（五）深度推理中的注意力失灵：抓不住要点与语义漂移

前面把注意力机制写成了一套理想化的「重要性过滤器」：相关 Token 被放大，无关的背景被压低，模型总能精准地盯住最该盯的东西。但在真实的深度推理中，这个过滤器常常失灵，而且失灵方式高度一致：要么抓不住要点，要么放不下旧任务。
先说「抓不住要点」。注意力的输出从来不是「只保留一个 Token」，而是一次 softmax 归一化后的概率分布：所有 Key 都会分到权重，只是大小不同。当推理链变长，模型必须把有限的注意力预算摊到几百个、几千个历史 Token 上，真正决定答案的那几个关键词，要和大量中间步骤、冗余假设、试探性结论一起竞争归一化分母。结果就是权重被稀释——模型什么都看了，但什么都没看透。深度推理恰恰是链式的：第 N 步的全部输出成为第 N+1 步的输入，中间产物层层累积，注意力预算被结构性摊薄；越往后推，新 Query 越难从堆积如山的旧 Token 里把真正的要点捞出来。这和人脑的工作记忆很像：不是大脑不想集中，而是工作记忆的容量有限；但人脑会用组块化和主动遗忘把子任务压缩成结论，而单纯的 Transformer 没有默认的「卸载」机制。

再说「语义漂移」，它更隐蔽。在自回归推理中，已经生成的 Token 会留下 Key 和 Value，持续驻留在上下文中。一个子任务完成之后，这些旧 Key、旧 Value 并不会自动失效：即使当前 Query 已经转向新问题，只要与旧 Key 还存在局部相似度，旧 Value 就会被重新加权调起。于是已经完成的子任务、已经推翻的中间结论、已经验证过的错误路径，会在后续推理中反复「诈尸」。在长链推理里，它的表现是：模型明明已经推进到了步骤四，却突然回到步骤二去补充细节；在多轮任务里，它的表现是：上一轮已经解决的问题，下一轮仍残留在注意力的峰值里，把新任务往旧语义空间里拽。心理学上有对应的现象叫前摄干扰——旧记忆污染新任务；但人脑还能通过额叶的门控机制主动抑制无关记忆，语言模型缺少的，正是这个显式的任务边界和遗忘信号。

所以注意力不只是一种筛选能力，它同时隐含着一个相反的问题：筛选不干净怎么办？关键词被稀释、旧状态被残留，本质上是同一个病根的两种症状——模型没有清晰的「当前任务边界」，也缺少配套的「卸载与遗忘机制」。这也给后面的工程化改造留下切口：与其继续堆上下文长度，不如设计显式的子任务边界、摘要压缩和缓存淘汰，逼模型在正确的时间忘记。

（六）从预测到审视：让模型知道自己说了什么，中途可以停下来

如果「筛选」是把输入里的噪声去掉，「审视」就是把输出里的噪声重新挑出来。纯自回归模型的默认动作是继续生成下一个 Token，它缺乏一个天然的「回头看」环节；要让模型知道自己说了什么，必须把已经生成的序列重新变成被评估的对象，而不是只作为未来 Token 的历史。

最直接的做法是生成与评判分工：先把草稿写出来，再由同一个模型或另一个更专门的验证模型，从「是否回答了问题」「每一步依据是否在上下文中」「哪一步开始出现矛盾」三个角度复查。此时模型不再只问「下一个词最可能是什么」，还要回答「刚才那一串说法是否成立」。这等于把被动的自回归生成，改造成一个带反馈环的生成—审视系统。

要让模型在中途能停下来，光有终局评分还不够，必须引入过程性信号。过程奖励模型（PRM）会给推理链上的每一步打分，而不是只看最后一行答案；当中间步的置信度跌破阈值，系统就可以中止、回溯或请求澄清。模型也可以被训练在不确定处主动吐出「待检查」这类暂停 Token，而不是继续把话说圆。这对应人脑的冲突监测：前扣带皮层在错误与冲突出现时发出信号，前额叶借此切断当前动作——停下来，不是没有产出，而是一次更高级的筛选。

在长链推理中，还可以把隐性状态显式写成子任务边界：开始前写「当前目标是 X」，完成后写「已验证 X」，发现矛盾时写「回退到第 N 步」。这些标记不是装饰，而是给后续注意力提供可被路由的锚点：该忘记什么、该重新查什么，都有了明确的 Key。上一节说的语义漂移，很大程度上正是因为缺少这些显式边界；从预测转向审视，就是把这些边界从隐性分布里拉回到显性上下文。

最后，审视不一定要靠模型自己。多候选生成后比较一致性、调用外部工具或检索源做事实校验、让环境给出一次失败反馈，都是把模型的外部行为纳入自我评估的证据。
但仅有「审视」还停在一个更精致的名分上：它还容易被误解成「模型应该保持一致、把话说圆」。真正的智慧不是永不改口，而是能在更优证据面前承认先前错了，甚至主动推翻自己。人脑的立场从来不是一次写死：新线索出现时，我们会修正判断、改口、撤销刚才的行动方案。这与语义漂移形似而神不同——漂移是被旧状态偷偷拖走的意外偏移，改口是由新证据触发的主动更新；前者的病因是没有边界，后者恰恰是重新划定边界。

所以，一个会说「停」的模型还不够，它还要会说「我错了，重新来」。工程上可以把这一点做成显式动作：当过程奖励、验证器或环境反馈给出负面信号时，不只是中止或回溯，而是在上下文中追加一条「修正：撤回第 N 步结论」，让新的显式边界覆盖旧状态，迫使后续注意力重新路由。这样，改口就不再是污染输出的噪声，而是系统自校正的能力。

换句话说：预测让模型向前走，审视让它能停下来，而允许改口，才让它真的走得对。一致性不是智能的勋章，适时推翻自己才是。

但仅有「审视」还停在一个更精致的名分上：它还容易被误解成「模型应该保持一致、把话说圆」。真正的智慧不是永不改口，而是能在更优证据面前承认先前错了，甚至主动推翻自己。人脑的立场从来不是一次写死：新线索出现时，我们会修正判断、改口、撤销刚才的行动方案。这与语义漂移形似而神不同——漂移是被旧状态偷偷拖走的意外偏移，改口是由新证据触发的主动更新；前者的病因是没有边界，后者恰恰是重新划定边界。

所以，一个会说「停」的模型还不够，它还要会说「我错了，重新来」。工程上可以把这一点做成显式动作：当过程奖励、验证器或环境反馈给出负面信号时，不只是中止或回溯，而是在上下文中追加一条「修正：撤回第 N 步结论」，让新的显式边界覆盖旧状态，迫使后续注意力重新路由。这样，改口就不再是污染输出的噪声，而是系统自校正的能力。

换句话说：预测让模型向前走，审视让它能停下来，而允许改口，才让它真的走得对。一致性不是智能的勋章，适时推翻自己才是。
真正重要的转变只有一句话：生成是向前采样，审视是向后验证；一个会说「停」的模型，必须同时具备这两种方向的计算。

三、世界模型：在时空混沌里学会「补全」

（一）世界模型是什么：对物理世界的可预测表征

如果说语言模型的主要战场是一维的 Token 序列，那么世界模型面对的是四维的时空连续体。

世界模型的核心假设是：智能不仅需要识别当下的输入，更需要掌握隐藏在这些输入背后的规律——物体不会凭空消失、运动是连续的、光照是渐变的、重力是向下的、因果是有方向的。一个真正的世界模型，不是对图像的被动记录，而是一套可以在时间维度上向前推演、在空间维度上向外补全的预测系统。

这与人脑的先验模型高度对应。人脑存储了世界的基本规律，当采样出现缺口——生理盲点、被遮挡的物体、被噪声覆盖的音素——它就调用这套模型，算出「最可能的样子」填进去。世界模型要做的，就是把这个「最可能的样子」用神经网络参数和生成过程实现出来。

（二）自回归与扩散：两种补全路径

目前实现世界模型的技术路径主要有两条，恰好对应人脑补全的两种方式。

第一条是自回归路径，即「根据前文预测下一个 Token」，把时间维度的补全理解为序列生成。语言模型预测下一个词，视频世界模型预测下一帧或下一段潜空间表示。这条路径的核心是：给定过去，推演未来。被遮挡的运动物体，靠的不是真的「看见」，而是根据它消失前的位置、速度与场景上下文，推算它下一时刻最可能在哪里。

第二条是扩散路径，即从噪声中逐步还原完整图像或视频。扩散模型先学会破坏信息，再学会逆过程重建信息。面对被遮挡的物体、被截断的帧、被噪声污染的画面，它会调用训练中学到的世界规律，从残缺的采样点出发，逐步还原出一个连续、完整、符合物理直觉的结果。这更接近人脑的「空间补全」：生理盲点被周围纹理自动填补，外周视野的色彩被中心视野的先验还原。

（三）被遮挡、被截断、被污染：世界模型的「脑补」

世界模型最像人脑的地方，是它在残缺输入面前的表现。

当视频模型遇到一个被柱子暂时遮挡的行人，它不会生成一帧空白的柱子，而是会让行人在柱子后继续存在，并在另一侧以合理的位置和速度重新出现。当一段视频被中间抽帧，它会生成中间缺失的过渡帧，让运动显得连续。当画面被噪声污染，它会根据周围的清晰纹理和全局结构，还原出「最可能」的干净画面。

这套行为与人脑的音素恢复效应、卡尼萨三角错觉、生理盲点补全几乎完全同构。人脑用进化与经验积累的先验模型拟合离散采样点，世界模型用海量数据训练出的参数拟合残缺输入。二者都不需要准确，只需要「够用」——能生成一个连续、自洽、符合预期的世界，就完成了任务。

（四）从像素到物理：视频生成式世界模型

近年视频生成式世界模型的进展，把「预测补全」从简单的纹理恢复推进到了物理直觉层面。

这类模型不再只是生成「看起来像」的画面，而是开始学习「发生了什么」的动力学：物体碰撞后如何反弹，液体倾倒后如何流动，光线穿过玻璃后如何折射。它们生成的连续帧，本质上是对场景状态的离散采样进行先验插值——模型内部学到的世界规律，决定了断点之间「最可能的样子」。

当然，这类模型仍远未达到物理级的精确，长时间推演会漂移，物体边界会变形，状态转换会违背守恒律。但这恰恰说明：它做的是人脑式的有损补全，而不是物理引擎式的精确求解。它的目标本来就不是逐像素还原真实世界，而是生成一个看起来合理、用起来够用、足以支撑决策的连续世界表征。

四、人脑作为原型：五感采样、预测补全与多感官整合

上面的两条 AI 主线，都不是凭空设计出来的。它们的原型，是人脑亿万年的进化成果。

（一）五感离散采样：第一道闸门

人脑的视觉是断裂的：视网膜上的感光细胞离散分布，动作电位遵循「全有全无」原则，视觉注意力以约 4—8Hz 的节律采样，再加上扫视抑制与生理盲点，输入从源头就是破碎的。听觉是分箱的：耳蜗基底膜按位置分解频率，强音掩蔽弱音，超出听阈的波段被前置滤波直接丢弃。触觉的两点辨别阈、嗅觉受体的组合编码、时间感的后验重建，无一例外地遵循同一条逻辑：把连续砍成离散，把无限压成有限，只采样变化，不记录冗余。

混沌世界里无限的信息，在这第一道闸门就被砍掉了 99% 以上，只剩下极少量与生存相关的采样点。这是语言模型 Token 离散化与注意力筛选的生物原型。

（二）先验补全：把孔洞缝起来

只有离散采样点，世界应该是破碎、卡顿、布满孔洞的。人脑的第二步，是用先验模型把断点缝起来。

生理盲点被周围纹理自动填补，被遮挡的运动物体被 alpha 节律插值推算，中断的音素被上下文补全，外周视野的色彩被中心视野的先验还原。这些补全全都依赖一套储存在进化与经验里的世界规律：物体不会凭空消失、运动是连续的、纹理是均匀的、声音不会突然中断。采样出现缺口，大脑就调用这套模型，算出「最可能的样子」填进去。这是世界模型预测补全的生物原型。

（三）多感官整合：稳定比精确重要

单一感官的采样太脆弱，容易出错、容易被干扰、容易出现缺口。大脑的第三步，是把视觉、听觉、触觉、本体觉等不同通道的离散信息，对齐到同一个坐标系里，互相修正、互为补充，构建出一个统一的世界模型。

当视觉与触觉出现偏差，大脑会取加权平均，权重取决于哪个感官的置信度更高；嗅觉会调制触觉，视觉会调制味觉，高频噪音会让皮肤觉得更刺痛。这些跨模态相互影响的目的只有一个：在混沌环境里，让稳定的决策胜于精确的感知。一个连续、统一、自洽的主观世界，能让生物体快速行动，不用在破碎的信息里反复迟疑。

五、殊途同归：降维—补全—稳定

把三条线索并置，会看到一张高度对称的图景。

三者面对的是同一个混沌世界，因此选择的是同一套生存策略：先用离散采样砍掉绝大多数冗余，再用先验模型把断点补全，最后通过整合校准输出一个稳定、连续、可决策的结果。

人脑用亿万年进化学会了这套逻辑，语言模型用预测任务和梯度下降在几年里学会了这套逻辑，世界模型则用海量视频数据和生成训练重新走了一遍。这不是巧合，而是约束下的必然：面对无限信息，任何有限智能都只能先降维，再补全；任何有用的世界表征，都不追求精确，只追求够用。

七、边界与余数：AI 感知之外的世界上面的类比如果只停留在启发层面，价值有限。真正的价值在于：它给出了几条可以直接落到架构设计里的工程原则。

（一）语言模型：把「筛选」变成系统能力

注意力机制在模型内部实现了筛选，但工程系统不能只依赖模型内部的注意力。实际可落地的方式有三层。

第一层是入口筛选：用检索增强生成（RAG）在模型之前先做一次外部采样。与其把几百页文档全部塞进上下文，不如先基于问题检索出最相关的若干片段，只让模型在精炼后的信息上进行注意力计算。人脑也是先靠节律性注意筛掉绝大多数输入，再做精细加工。

第二层是结构筛选：对长文档采用语义分块，而不是固定字符硬切。优先把分块边界落在函数、段落、表格等语义完整的位置，减少切碎后的信息孔洞，这和大脑从采样点还原连续语义是同一个思路：断点保留得越好，补全成本越低。

第三层是工程裁剪：在推理阶段使用滑动窗口注意力、稀疏注意力、KV cache 压缩、MoE 路由裁剪等手段，把每个 Token 实际触碰的参数和显存砍下来。目标不是「让模型知道全部」，而是「用最低成本知道最相关的那部分」，其工程收益远大于继续堆上下文长度。

（二）世界模型：把「补全」变成系统能力

补全不仅可以用来生成视频，也可以直接服务业务系统。可落地的路径同样有三类。

第一类是残缺输入修复：图像遮挡修复、视频中间帧插值、低分辨率超分、噪声污染还原。很多工业场景的真实输入天然残缺——监控有遮挡、医学影像信噪比低、卫星图有云层。与其重新采集，不如用世界模型先做先验补全，再交给下游识别。

第二类是少真值推演：用仿真世界模型生成大量「合理可能」的场景状态，代替昂贵的真实数据采集，再用少量真值校准。自动驾驶、机器人操作、工业视觉等方向，都可以先在预测模型里做有损的物理推演，再在关键点上用真实传感器校验。

第三类是物理先验对齐：把已知的物理约束——重力、刚性、连续性、守恒律——作为正则项或额外损失引入生成过程，降低长时间推演的漂移。这对应人脑的整合校准：不是让预测模型自由发挥，而是让先验规律不断修正输出。

（三）贯穿始终的工程原则

把语言模型和世界模型放在同一个系统里时，有三条原则可以统一采用。

第一，先降维，再计算。任何进入大模型之前的输入，都应该先经过采样、筛选、压缩：长文先检索，视频先抽关键帧，多模态数据先做轻量对齐。不要把无限信息直接灌给有限算力。

第二，先补全，再决策。下游的识别、规划、控制，尽量不要直接面对残缺输入。先用生成式补全把孔洞补上，再让决策模块在连续、自洽的输入上工作，这和大脑先造出连续幻象再行动是同一个顺序。

第三，先稳定，再精确。工程上应优先保证系统输出的连续性与可用性，用多模型交叉验证、置信度加权、看门狗检测来兜底，而不是无条件追求单点精度。尤其要对生成结果之外的「余数」保持监控：幻觉、漂移、分布外输入，恰恰是系统最需要保护的边界。

六、边界与余数：AI 感知之外的世界

按照审慎原则，必须为这套类比划定边界。

第一，语言模型的「筛选」不同于人脑的「筛选」。人脑的注意受生存目标调制，语言模型的注意力受训练分布调制；前者的过滤标准是「是否与生存相关」，后者的过滤标准是「是否与下游任务的统计规律相关」。两者形似，但优化目标并不同构。

第二，世界模型的「补全」并不等于物理理解。它能生成连续、合理的画面，但不因此掌握守恒律、因果链与反事实推理。它输出的是「看起来最可能」的插值，而不是「物理上必然」的解。把它当成人脑式的世界模型，是一种有启发性的类比，而不是等价的结论。

第三，任何采样与补全系统都有余数。人脑在感知之外留下的是一个没被采样、没被过滤、没被补全、没被先验模型驯化的混沌世界；语言模型在训练分布之外留下的是幻觉、偏见与知识盲区；世界模型在生成边界之外留下的是违背物理的漂移与形变。这些余数不是系统的失败，而是系统的边界。

而最重要的一点是：承认这些边界，等于承认，在这些系统交上来的世界图景之外，还有东西。

人脑的局限提醒我们，主观的连续不等于客观的连续；语言模型的局限提醒我们，流畅的输出不等于可靠的知识；世界模型的局限提醒我们，逼真的生成不等于真实的物理。它们共同的教训是——任何智能系统，本质上都是对混沌的有损压缩，而不是对世界的全息复制。

结语

语言模型学会了筛选，世界模型学会了补全。

这两件事，表面上来自截然不同的工程路线：一条来自预训练与自回归，一条来自生成建模与视频预测。但把它们并排放在一起，会看到它们复刻的其实是同一份古老的智力遗产——人脑用亿万年进化摸索出的混沌降维之道。

先离散采样，砍掉无限冗余；再预测补全，缝合离散缺口；最后整合校准，输出稳定秩序。这不是某一种智能的专利，而是有限智能面对无限世界的唯一出路。

在混沌中，任何智能都只是采样者与补全者；

而真正的边界，不在我们已经看清的画面里，而在那些被丢掉、被抹平、被「脑补」覆盖掉的余数里。

本文以人脑感知系统为原型，从语言模型与人工智能世界模型两条主线展开，结合 2025—2026 年神经科学前沿研究与当前主流大模型技术方向整理而成。（注：部分内容可能由 AI 生成）