1. 项目概述：当AI“读心术”遇到瓶颈
最近在跟进多模态大模型的前沿进展时，一篇来自2025年“心智理论”国际研讨会的论文引起了我的注意。论文标题很有意思，叫《视觉语言模型看到你想看的，而非你看到的》。这个标题精准地概括了当前视觉语言模型在“心智理论”能力上的一种奇特现象：它们似乎能很好地“猜”出你的意图，但却很难真正“站”在你的位置上看世界。
所谓“心智理论”，听起来很玄乎，其实核心就是“读心术”——不是超能力那种，而是指我们人类天生具备的一种能力：理解他人有自己的思想、信念、意图和视角，并且这些可能与我们自己的不同。比如，你知道同事背对着你，所以他看不到你桌上的咖啡杯；或者你从朋友含糊的话语中，能推断出他其实是想请你帮忙。这种能力是社会协作、沟通乃至欺骗的基石。过去几年，随着大语言模型和视觉语言模型的爆发，研究者们开始好奇：这些模型是否也发展出了类似的心智理论能力？
这篇论文通过两个精心设计的基准测试——IntentBench和PerspectBench，对35个主流VLM进行了系统评估。结果揭示了一个关键发现：模型在“意图理解”任务上表现接近人类水平，甚至随着模型规模增大而提升；但在“二级视角采样”任务上，表现却差强人意，且规模增长并未带来能力提升。这就像是一个学生，阅读理解题做得很好，但一到需要空间想象力的几何题就卡壳了。这种能力的“分离现象”暗示，当前VLM的“社会智能”可能建立在沙滩上——它们擅长从海量数据中总结关于意图的“知识”，却缺乏真正进行心理模拟和视角转换的“内功”。
2. 心智理论的双重路径：模拟推理 vs. 理论推理
要理解VLM为何会“偏科”，我们得先拆解心智理论背后的两种核心认知机制。这在认知科学和哲学中是个经典议题，对于评估AI也至关重要。
2.1 模拟推理：构建内部心理模型
想象一下，你要判断坐在你对面的朋友能看到你手机的哪一面。你不会去回忆教科书上关于“视角”的定义，而是会不自觉地、快速地在脑海里“旋转”整个场景，将自己代入朋友的位置，模拟他的视觉输入。这个过程就是模拟推理。
它的核心在于构建并操作一个关于自我-他人关系的内部动态模型。在这个模型中，你不仅知道他人有独立的视角，还能基于这个模型进行“如果…那么…”的推理。例如：“如果我把手机屏幕朝向我，那么从他的位置看，他只能看到手机背面。”这种推理通常与具体的感知运动模拟（如心理旋转）紧密相关。在人类发展中，这种需要心理模拟的二级视角采样能力，要到4-5岁甚至更晚才能成熟，因为它对认知负荷要求更高。
2.2 理论推理：应用抽象知识库
与模拟推理相对的是理论推理。这种方式不依赖于实时、在线的心理模拟，而是依赖于一个存储好的、关于心智状态与行为之间关系的抽象知识库。
比如，当你看到一个人伸手去拿水杯，你的大脑可能会快速匹配一条从经验中学到的知识：“伸手拿水杯”这个行为，通常与“口渴”或“想喝水”的意图相关联。你不需要模拟他喉咙的干燥感，只需要应用这条抽象规则即可。这种推理更像是一种模式识别和知识检索。许多关于意图理解的日常场景，都可以通过这种基于统计规律和语义关联的知识库来应对。
注意：这两种机制在人类认知中并非泾渭分明，常常协同工作。但区分它们对于诊断AI的能力边界非常关键。模拟推理更像是“知其所以然”的深度理解，而理论推理则可能是“知其然”的浅层关联。
2.3 VLM的能力画像：知识巨人，模拟矮子？
基于上述框架，论文的发现就很好解读了。VLM在预训练阶段吞噬了互联网规模的图文数据，其中包含了海量关于人类行为、社会情境和意图表达的文本描述与视觉对应关系。因此，当面对IntentBench中那些模棱两可的社会场景图片时（例如，一个人看着空钱包又看着商店橱窗），模型可以调动庞大的知识库，将视觉线索与“购物但钱不够”、“感到沮丧”等意图标签进行高概率关联。这本质上是一种强大的、基于关联的理论推理。
然而，PerspectBench测试的二级视角采样，要求模型进行一种依赖空间关系的心理模拟。经典的“三山任务”变体要求模型推断，从一个特定角度（比如一个玩偶的视角）看去，一组易拉罐的排列会呈现什么形状。这需要模型在“心智中”旋转整个场景。论文发现，即使是GPT-4o这样的顶级模型，在此类任务上也表现不佳。更关键的是，这种能力不随模型参数规模增长而改善。
这强烈暗示，当前VLM的架构和训练目标，可能更利于编码和检索陈述性知识（关于“是什么”的事实），而非培养程序性知识（关于“如何做”的模拟操作）。它们学到了“从不同角度看东西会不一样”这个事实，但缺乏执行“看”这个视角转换过程的内部机制。它们的“理解”停留在符号和统计层面，而非具身和模拟层面。
3. 核心实验拆解：IntentBench与PerspectBench如何“拷问”VLM
光有理论不够，我们得看看论文是怎么用实验把VLM的“底裤”扒下来的。这两个基准的设计非常巧妙，直指心智理论的不同维度。
3.1 IntentBench：意图理解的“阅读理解”题
IntentBench包含了100个基于真实世界模糊社交场景的单图实验。这些场景的关键在于“模糊”——图像信息不足以唯一确定一个意图，需要结合社会常识进行推理。
任务设计原理：避免使用早期研究中常见的、由物理引擎生成的简单动画场景（比如一个小球追逐另一个小球）。这类任务被批评缺乏生态效度，与现实世界的复杂性脱节。IntentBench的灵感来源于COIG-CQIA和Ruozhiba等高质量中文指令微调数据集，它选取的是真实生活中可能遇到的、充满歧义的瞬间。
示例：一张图片显示一个人站在岔路口，看着两个方向的路标，表情犹豫。可能的意图选项包括：“在寻找特定地址”、“在决定散步路线”、“迷路了在尝试辨认方向”。模型需要选择最合理的意图。
模型如何应对：在此类任务上，表现最好的模型（如GPT-4o）达到了接近人类的水平。这是因为模型在训练中见过无数描述类似场景的文本（如小说、社交媒体帖子、图片标注），它学会了将视觉模式（人的姿态、视线方向、环境物体）与高频共现的意图描述词汇进行关联。这本质上是跨模态的模式匹配和概率推理，完美契合了理论推理的路径。
3.2 PerspectBench：视角采样的“空间几何”题
PerspectBench则复杂得多，包含32个多图和209个单图实验，其核心是经典发展心理学任务——“三山任务”的现代化变体。
经典三山任务回顾：在皮亚杰的原始实验中，孩子面对一个有三座特征不同的小山的模型。实验者将一个玩偶放在模型的不同位置，然后问孩子：“从玩偶的位置看，它能看到哪座山？” 一级视角采样只需判断玩偶能否看到某物（“它能看到红色的山吗？”），二级视角采样则需要描述玩偶看到的景象具体是什么样子（“它看到的红色山是在左边还是右边？”）。
VLM适配版：论文将“三座山”替换为3-4个常见饮料罐，排列成不同的空间模式。这样既保留了空间关系的核心，又使用了模型更熟悉的日常物体。任务会展示一张从“自我”视角看到的罐子排列图，以及一张从另一个角度（玩偶视角）看到的场景图，然后要求模型判断，从玩偶的视角看，罐子的排列顺序或可见面是怎样的。
挑战所在：这要求模型必须进行心理旋转和视角投射。它不能仅仅依赖标签（如“可乐罐”），而必须在内部表征中操作物体的空间关系。例如，如果从我的角度看是“红罐在左，蓝罐在右”，那么对于一个在我对面180度的观察者来说，这个左右关系正好相反。模型需要模拟这个转换过程。
实验结果：几乎所有被测VLM在PerspectBench上的表现都显著低于IntentBench，且与模型规模无关。这说明，简单地增加参数和数据，并不能让模型“学会”这种基于模拟的视角转换能力。这很可能是因为，当前VLM的视觉编码器（如ViT）和LLM的交叉注意力机制，主要擅长提取和融合语义特征，而非构建和操作精确的、可旋转的3D场景表征。
4. 从评估到启示：VLM社会认知缺陷的深层影响
这个分离现象不仅仅是学术上的一个有趣发现，它对VLM的实际应用，尤其是在需要深度人机协作的领域，敲响了警钟。
4.1 对可信人机协作的挑战
设想以下场景：
- 协作机器人：一个家庭服务机器人需要把水杯递给坐在沙发上的主人。如果机器人只有强大的意图理解（“主人伸手，意图是接水杯”），但缺乏二级视角采样能力，它可能无法判断从主人的视角看，水杯的把手是否朝向方便抓握的位置。它可能只是机械地把杯子递过去，导致主人需要别扭地转动手腕才能握住。
- 自动驾驶：自动驾驶系统需要理解其他交通参与者的意图（“那辆车打左转向灯，意图是变道”）。但如果它无法进行有效的视角采样，就可能错误估计其他司机对周围环境的感知。例如，它可能无法准确判断一辆大货车司机因为盲区而根本看不到旁边的自行车，从而做出危险预测。
- 安全关键领域：论文中另一项关于LLM在安全关键领域错误信念任务的研究也指出了类似风险。如果AI无法稳健地追踪人类队友的信念状态（例如，队友误以为某个区域是安全的），在军事、救援等场景中，可能导致灾难性的协作失败。
4.2 模型架构与训练范式的反思
这一发现促使我们反思当前VLM的主流范式：
- 视觉表征的局限性：当前的视觉编码器输出的是高度抽象的、语义化的特征向量，这些向量丢失了精确的几何和空间关系信息，而这些信息对于视角采样至关重要。未来的模型可能需要整合更明确的3D场景表示或神经辐射场等技术。
- 训练目标的偏差：大多数VLM的训练目标（如图文对比学习、文本生成）鼓励模型学习语义对齐，而非空间推理。可能需要引入专门的、需要心理模拟的预训练任务或强化学习环境，来“逼迫”模型发展出这种能力。
- 推理过程的黑箱：即使一个VLM偶然答对了视角采样问题，我们也很难知道它是真的进行了心理模拟，还是靠“蒙”或数据中的巧合。开发可解释的工具来探测模型内部的“模拟过程”，将是未来研究的关键。
4.3 混合智能系统的可能路径
论文的发现并不一定意味着VLM永远无法拥有真正的视角采样能力，但它提示，纯数据驱动的、端到端的训练方式可能存在天花板。一个可行的方向是走向混合架构：
- 符号与子符号结合：像“期望事件演算”这样的逻辑框架，可以显式地表示不同主体的信念、期望和视角。将VLM强大的感知和意图理解能力，与这种符号推理引擎相结合，让VLM作为“感知模块”提供输入，符号系统负责进行需要模拟的复杂推理。
- 世界模型集成：让VLM与一个内部的世界模型（World Model）耦合。这个内部模型可以对外部环境进行动态的、可操作的模拟。当需要进行视角采样时，VLM可以调用这个世界模型进行“想象”和“渲染”，而不是仅仅进行特征检索。
- 具身交互训练：让VLM控制具身智能体在模拟或真实环境中进行交互。通过第一人称和第三人称视角的不断切换，以及完成需要理解他人视角才能成功的协作任务，模型或许能从交互中更自然地习得视角采样能力。
5. 实操：如何初步测试一个VLM的视角采样能力
作为开发者或研究者，我们如何在自己的项目中快速评估所用VLM的这项能力呢？这里提供一个简单的、可复现的测试思路，无需复杂的基准测试集。
5.1 设计简易测试题
核心是构造需要心理旋转的视觉问题。避免使用抽象形状，用日常物体。
测试题示例（单图问答）：
- 图片：一张俯拍桌面的照片，桌面上从左到右依次摆放着：一个红色马克杯（把手朝右）、一个苹果、一个蓝色笔记本（封面朝上）。
- 问题1（一级视角采样，控制组）：“假设一个小人模型站在桌子的南边，面朝北看着桌面。它能看见苹果吗？”（正确答案：能）
- 问题2（二级视角采样，目标组）：“假设一个小人模型站在桌子的西边，面朝东看着桌面。从它的视角看，红色马克杯的把手朝向哪边？（左/右/前/后）”（正确答案：左。因为从西向东看，原本朝右的把手现在在物体的左侧）
提示词设计技巧：
- 明确参照系：在问题中清晰定义“左/右”是以观察者自身为参照。可以加上“以小人模型的左右为准”。
- 避免歧义：使用颜色、显著特征来区分物体，确保模型不会混淆。
- 加入干扰项：可以多问几个关于其他物体的问题，或者加入意图理解问题作为对比。
5.2 执行测试与结果分析
- 选择模型：可以选择GPT-4V、Gemini Pro Vision、Claude 3 Opus、LLaVA-Next等主流VLM的API或开源版本。
- 构造Prompt：将图片和问题一起输入。可以采用零样本或少样本（提供1-2个例子）的方式。
- 多次采样：由于生成的不确定性，对每个问题应进行多次（如10次）查询，计算正确率。设置温度参数（如temperature=0.7）以观察模型回答的稳定性。
- 分析错误模式：
- 完全随机：回答毫无规律，说明模型完全无法处理该任务。
- 自我中心错误：模型总是从图片拍摄者（或默认视角）的左右来回答，这是最典型的缺乏视角采样能力的表现。
- 语义混淆：模型可能描述“马克杯的把手”，但方向判断错误，说明它识别了物体和部件，但空间关系推理失败。
5.3 常见问题与避坑指南
- 问题：模型似乎答对了，但可能是猜的或从训练数据中背下来的答案。
- 对策：设计新颖的、独特的物体排列组合。确保你使用的测试图片极不可能在模型的训练集中出现过。可以自己用实物拍摄。
- 问题：模型对“左/右”描述产生歧义。
- 对策：在提示词中极度明确。例如：“请严格以小人模型自身的朝向为基准，判断物体的方位。小人面朝东，那么它的左手边就是北边，右手边就是南边。请回答‘左’或‘右’。”
- 问题：开源模型对复杂空间描述理解不佳。
- 对策：简化问题。可以先从“是否可见”（一级视角）测试开始，再过渡到“相对位置”（二级视角）。对于开源模型，尝试使用思维链提示：“请一步一步推理。首先，描述从原始图片视角看到的布局。然后，想象你移动到小人模型的位置和朝向。最后，描述从这个新视角看到的布局。”
- 问题：如何量化评估？
- 对策：不要只看单次回答。计算一组（如20道）精心设计的二级视角采样题的正确率。同时，跑一组同等难度的意图理解题作为对比。如果出现论文中所述的“分离现象”（意图理解分高，视角采样分低），那你就亲手复现了该核心发现。
6. 未来展望：迈向真正懂得“换位思考”的AI
这项研究像是一盏探照灯，照亮了当前VLM在通往人类级社会智能道路上的一道关键沟壑。它告诉我们，仅仅扩大模型规模和数据量，可能无法自然涌现出所有我们期望的认知能力，特别是那些依赖于内部模拟和模型构建的“湿件”特性。
未来的突破点可能在于：
- 多模态训练的革命：从静态的“图片-文本”配对，转向动态的、多视角的“视频-文本”或“3D场景-文本”数据。让模型在数据层面就接触大量从不同角度观察同一场景的实例。
- 推理架构的创新：探索在Transformer主干上增加专门的“空间推理模块”或“模拟引擎”。或者，更激进地，采用完全不同的、天生擅长处理空间关系的架构（如基于图网络的模型）来处理此类子任务。
- 评估基准的深化：我们需要更复杂、更贴近现实应用的评估基准。不仅仅是“三山任务”，而是包含动态交互、部分可观测、需要长期信念跟踪的复杂场景，例如模拟一场需要团队协作的桌面游戏。
这项研究给我的最大体会是，在追求AI“智能”的路上，我们不仅要问模型“知道什么”，更要追问它“如何知道”。意图理解上的成功，可能源于对数据表面关联的深刻挖掘；而视角采样的失败，则暴露了缺乏对世界进行内部建模和操作这一根本短板。构建能够真正进行心理模拟的AI，或许是我们迈向可信、可靠、可协作的人工伙伴不可或缺的一步。这不仅仅是技术挑战，也促使我们更深入地思考智能、理解与意识的本质。
