说实话，当我看到“复旦×NeoteAI首发N0-TWAM”这个消息时，第一反应是：世界模型这波，终于开始碰真问题了。过去一年里，我们见到的世界模型大多是视频预测、游戏智能体、自动驾驶场景，它们对“看”这件事很擅长，但对“摸”这件事几乎绝缘。N0-TWAM带着7B参数和一套新的触觉范式杀进来，目标直指接触富集操作——也就是机器人世界里那些“差一毫米就插不进去”的难题。这篇文章我不打算只复述公开消息，我想把它背后的技术逻辑、实际落地的关键点、以及我们自己复现这类触觉世界模型时踩过的坑，一并拆开讲讲。如果你在做具身智能、机器人学习，或者正在纠结世界模型该怎么用，这篇应该能给你一些参考。
1. 世界模型为什么需要“触觉”：把接触富集操作的问题讲透
1.1 世界模型的基本设定：预测不等于理解
世界模型的核心，简单说就是让模型学到“如果我执行某个动作，环境会怎样变化”。它不是一个传统的奖励函数，也不直接输出策略，而是学习一个状态转移的预测器。很多时候我们把世界模型等同于视频预测——给定当前画面和动作，预测下一帧画面。但这个“预测”和人类对世界的理解很不一样。人类理解一个杯子，知道自己拿起它时手会感到重量、触觉反馈会提示抓牢了没有；而纯视觉模型只看得到杯子在画面里的位置，感知不到重力和摩擦力。N0-TWAM要做的，就是把这部分缺失的物理交互补上。在机器人操作里，预测触觉反馈比预测像素更重要，因为接触力才是任务成败的直接信号。
“预测不等于理解”这句话可能听起来有点拗口，但实际做一次接触富集任务就明白了。你让机器人在仿真里推一个箱子，模型把箱子未来三秒的位置预测得很准，但它完全不知道箱子有多重、表面是光滑还是粗糙、推力超过多少会打滑。这些信息不会出现在像素里，却决定了操作能不能成功。所以世界模型如果只有视觉通道，本质上是“半盲”的——它能把物体的运动轨迹说得头头是道，但对接触瞬间的物理变化一无所知。N0-TWAM这个名字里的“触觉”二字，正好戳中了这个空白地带。
1.2 接触富集操作的特殊性：感知的“暗区”
接触富集操作（contact-rich manipulation）指的是插销、拧螺丝、组装零件、穿绳这类任务。它们的共同特点是什么？是“状态空间里有大片的不可观测区”。视觉可以看到物体的位置，但看不到接触面上的应力分布、摩擦力大小、是否发生微小滑动。一旦进入接触阶段，物体之间的相对位置往往只有亚毫米级别的变化，视觉分辨率根本不够。这时候，真正能给机器人“提词”的是触觉：力传感器告诉它向左偏了0.3毫米，力矩传感器告诉它旋转阻力突然增加了。我在实际做装配任务时发现，很多成功动作靠的是在接触瞬间根据力信号微调，而不是提前规划好一条开环轨迹。所以，一个没有触觉输入的世界模型，就像一个人蒙着眼操作，注定要在接触富集任务上碰壁。
接触富集这个名字听起来很学术，其实我们日常生活中到处都是。USB插孔、电源线接头、乐高积木拼接、手表表带安装，全是这类任务。难点在于：这些任务的“成功窗口”非常窄，而且状态空间里存在大量“一票否决”的情况——你推歪了0.5毫米，整个任务就卡死，需要回退重来。这种稀疏奖励特性让很多强化学习算法在这里失效，因为试错成本太高。而N0-TWAM的思路是：与其在任务空间里盲目搜索策略，不如先让模型学会预测接触后的物理反馈。一旦能预测“这个动作会导致阻力陡增”，机器人就可以在虚拟世界里先试错成千上万次，再在真机上只走最优路径。
1.3 视觉世界模型的边界：为什么光靠摄像头不行
很多做具身智能的朋友会有个疑问：现在视觉世界模型已经能生成比较真实的视频，为什么不能直接让它在接触前“脑补”出力？这里有个根本性的信息瓶颈：力、摩擦、硬度在图像中最多只能间接体现。你可以从物体形变、阴影变化中推断一些信息，但一旦物体是刚体，视觉上几乎没有形变，力信息就完全是隐藏在表面之下的。以前我们尝试过用视觉世界模型做插孔任务，模型对孔的位置预测得相当准，但插入阶段的动作成功率不到一半，原因就是它不知道该用多大的力往下按，按重了会卡死，按轻了又插不到位。只有加入触觉观测，模型才能在状态空间中真正感知到“现在卡住了”或“已经到位了”。
更麻烦的是，视觉信号在接触密集场景里还会出现严重的“退化”。比如机械臂末端已经挡住了接口，相机根本拍不到缝隙，这时候视觉信息不仅没有帮助，反而会误导模型。而触觉传感器是贴在机械臂或夹具内部的，它不依赖视线，只要接触发生就能产生数据。所以N0-TWAM把触觉加进世界模型，不是锦上添花，而是把世界模型从“只用眼睛猜”升级成“用手摸一摸再判断”。这才是接触富集操作新范式的真正起点。
2. N0-TWAM的核心思路：让世界模型长出触觉
2.1 触觉如何嵌入世界模型：传感器数据到Token
N0-TWAM最直接的设计变化，是在传统世界模型的观测空间里加入了触觉通道。这条通道不是简单地把触觉数据拼到视觉特征后面，而是要有自己的编码器。比如高分辨率触觉图像可以用视觉backbone处理，六维力/力矩向量可以用MLP编码，然后把两种触觉特征映射成与视觉token对齐的表示。我更倾向把N0-TWAM的做法理解为：它将物理接触“离散化成token”，和视觉token一起进入Transformer序列。这样一来，世界模型在预测下一状态时，不仅知道物体看起来什么样，还知道摸起来有什么感觉。实际复现时要注意：触觉传感器采样频率通常比相机高很多，直接把原始序列塞进模型会爆炸，需要先做事件化压缩——提取接触事件，比如“接触发生”“压力增大”“滑移开始”，把连续力信号转成稀疏事件tokens。这也给我们一个启发：触觉世界模型的关键在“特征对齐”和“事件化”，不在堆参数。
把物理接触token化这件事，听起来像是把连续的“力”切成一个个离散的“词”。为什么要这么干？因为世界模型通常用Transformer这种序列模型做骨干，它天然适合处理离散token序列。视觉token来自图像分块，触觉token也就可以来自力信号的分段。你可以把0到5N的力范围切成10个bin，也可以用VQ-VAE学习一个触觉codebook，把每一帧触觉图像映射到最近的码字。这样的好处是：模型可以用统一的注意力机制同时处理视觉和触觉，实现跨模态的交互推理。直接拼接原始力和图像特征当然也能跑，但模型内部这两种模态的交叉注意力会很难学习，token化之后，触觉和视觉都变成了“符号”，模型就能像处理语言一样处理物理交互。
2.2 7B参数背后的“压缩智慧”
为什么是7B？直觉上，大模型不都是越大越好吗？但世界模型和语言模型不一样，它不需要记忆海量事实，它需要的是对物理规律的高效压缩。接触富集操作的物理规则相对固定——刚体接触、摩擦锥、力平衡，这些规律用一个中等规模模型就足以表达。7B参数的好处是：它可以在单张或多张A100/H100上完成微调，推理延迟控制在几十毫秒级别，这对机器人实时控制是至关重要的。你想想，如果模型每次预测要跑2秒，机器人动作早就跟不上物理过程了。N0-TWAM选择7B，本质上是在表达能力和推理速度之间找了一个平衡点。我自己做模型蒸馏的经验也支持这一点：把100B的world model蒸馏到7B，物理预测能力往往只掉几个点，但推理速度提升了一个数量级。
还有人会问，7B能不能再小一点？比如3B甚至1B？我个人的经验是：如果你只做单一场景的插孔任务，1B模型可能也够用，但一旦要覆盖多种接触类型、多种物体材质，模型需要更强的表征能力来区分细微的力觉差异。7B在这个尺度上算是一个“甜点区”——它比3B模型多了足够的容量来同时建模物体视觉外观和接触动力学，又不至于像70B那样训练成本高到难以接受。N0-TWAM以7B作为首发规模，背后应该有团队对模型容量、训练数据量、推理延迟三者权衡的考量。别小看这个“压缩智慧”，很多项目死在盲目上大模型，结果部署时发现完全跟不上机器人的控制频率。
2.3 世界模型推理公式在N0-TWAM里的具体形态
网上很多人讨论“世界模型推理公式”，这个词有点玄，但落到实现上，其实就是一条状态更新的路径。我们可以把它写成这样：给定当前视觉观测 (o_t)、触觉观测 (h_t)、机器人状态 (q_t) 和动作 (a_t)，模型先编码成潜在状态 (z_t)，然后通过一个转移网络预测下一个潜在状态 (\hat{z}{t+1})，最后解码出下一时刻的观测预测 (\hat{o}{t+1})、(\hat{h}{t+1})。损失函数是预测值与真实观测之间的MSE或扩散损失。这一套公式并不新鲜，很多视频预测模型都是这么做的。N0-TWAM真正的增量点，是把 (h_t) 和 (\hat{h}{t+1}) 变成了和 (o_t) 同等地位的建模对象。
触觉预测不仅是自监督任务，还可以直接用于规划：比如你计划一步动作，用世界模型推出未来5步的触觉变化，你就可以在虚拟空间里提前判断这个动作会不会导致卡死或滑落，而不是等到物理世界出了事故再补救。举个例子，模型预测下一步接触力会从2N跳到8N，那大概率是撞到了硬边缘；预测力会从2N降到0N，那可能是东西掉了。这些触觉“想象”可以在动作执行之前筛掉一堆危险选择。这种“带着触觉想象的规划”，就是接触富集操作新范式的核心，也是N0-TWAM区别于传统视觉世界模型的关键分水岭。
2.4 训练数据怎么来：遥操作与自监督的取舍
要训练N0-TWAM，数据是绕不过去的坎。接触富集操作数据的采集比普通视频数据难得多，因为你需要同时记录视觉画面、机器人关节状态和触觉传感器信号。我了解到的方式主要有三种。第一种是遥操作：人类操作员戴着触觉反馈设备示范动作，系统同步记录所有模态数据，这种方式质量最高，但采集慢。第二种是仿真自监督：在物理仿真器里使用强化学习或随机采样的方式，自动收集接触数据，成本和风险都很低，但是存在sim-to-real gap。第三种是混合：让模型先在仿真里学习物理规律，再用小批量真实遥操作数据微调。N0-TWAM既然强调7B参数能撬动范式，大概率采用了类似“仿真预训练+真机微调”的策略。
我在实际项目中测试过这种策略，发现关键点是触觉传感器的仿真精度，如果仿真里的接触力响应曲线和真实传感器差太远，微调阶段会学到矛盾的规律。比如仿真里把接触力简化成线性弹簧，真实传感器却测到了非线性的粘滑效应，模型就会在真机上出现“预测偏乐观”的问题。所以不管用哪种采集方式，统一触觉信号的定义和坐标系，比采集数据量本身更值得花时间。很多团队在数据采集阶段漫无目的地记录，最后训练时发现力传感器正负号都是反的，那就完全白费了。
3. 从模型到机器人：N0-TWAM的实操落地流程
3.1 触觉数据采集：硬件选型与同步
如果你想基于N0-TWAM的设计思路自己做一套触觉世界模型，第一个要解决的问题是硬件。触觉传感器大致分两类：一类是视觉式触觉传感器（比如GelSight、Digit），能输出高分辨率触觉图像，靠弹性凝胶的形变反映接触；另一类是力/力矩传感器，输出六维力向量，测量接触力的合力。一般来说，接触富集任务两类都需要：视觉式触觉告诉你接触面哪里压了，力传感器告诉整体受力有多大。数据同步是个容易轻视的坑：相机帧率30fps，力传感器频率可以达到1000Hz，两者必须做时间戳对齐。我建议用ROS2的message_filters做时间同步，把所有传感器数据统一缓存到bag文件里，再按时间戳重采样。如果忽略这一步，训练时模型会发现视觉和触觉对不上位，预测loss会特别大。
硬件选型上还有几个细节值得多说一句。视觉式触觉传感器虽然能提供丰富的空间接触细节，但它的耐用性是个问题，凝胶表面容易损伤，每次更换后输出都会变，所以如果你要做长期数据采集，最好定期重新做标定。六维力传感器则要关注它的量程和分辨率：量程大了，小力信号会被量化噪声淹没；量程小了，稍微用点力就饱和。我建议是根据任务中可能出现的最大接触力，选择量程比它大50%左右的力传感器，这样既能保证安全，又不会牺牲分辨率。采集环境的光照、温度也会影响触觉图像的一致性，这些看似琐碎的工程细节，直接影响模型能不能学到稳定的物理规律。
3.2 训练阶段：预训练、微调与计算资源配置
假设你手里有了一批多模态操作数据，接下来怎么训练一个N0-TWAM风格的模型？大体上分三步。第一步，用视觉数据预训练视觉encoder，目标是对齐视觉和语言（或者单纯做掩码重建），这一步可以借助开源视觉模型权重加速。第二步，在预训练模型上增加触觉encoder和预测头，在收集到的多模态数据上做世界模型的预测训练，输入是历史视觉、触觉和动作，输出是未来触觉和视觉。第三步，针对具体接触富集任务做微调，比如只对插孔任务数据做少量epoch训练。计算资源配置上，7B模型用混合精度（bf16）训练，大约需要8张A100（80G）跑一两天；如果你只有消费级显卡，可以考虑LoRA微调，因为要更新的参数其实集中在触觉encoder和预测头部分。注意：千万不要上来就全参数微调，不但显存不够，还容易破坏预训练学到的视觉基础。
在训练损失上，我们还需要做一些细致的处理。视觉预测可以用L2或者感知损失，但触觉预测不建议直接用L2，因为力信号在不同量级上的误差意义不同：接触力接近0的时候，一点小噪声就会让L2变得很大，模型会把精力放在拟合噪声上；而接触力大的时候，稍微偏一点可能就导致任务失败，L2又不够敏感。我们当时用的是“加权MSE”，把力的预测误差按实际力的绝对值做了归一化，同时在损失函数里加入一个接触事件分类头，专门预测“接触/未接触”“滑移/静止”这些离散事件。这样模型不只会拟合力的曲线，还会学会识别接触状态切换的关键节点，对规划来说信息量更大。
3.3 部署阶段：用世界模型做规划与控制
训练好的N0-TWAM怎么在机器人上发挥作用？我见过两种玩法。一种是“模型预测控制”：把世界模型当作一个可交互的模拟器，在每一步规划中并行采样多个候选动作，用模型预测未来触觉变化，再根据任务约束（比如“插入深度达到阈值”“接触力不超过5N”）挑选得分最高的动作序列，然后执行第一步。另一种是“离线想象数据增强”：让世界模型在训练数据的分布里额外生成接触轨迹，用这些想象的轨迹训练一个轻量级的强化学习策略。两个玩法都要面临一个问题：模型的预测误差会随着步数累积。所以部署时不能指望模型精确预测10秒后的状态，最多用它做3到5步的滚动预测，每执行一步就用真实传感器观测重新校正。
这里我强烈建议开一个“虚拟回放”调试环境：让机器人在仿真里用真实传感器读数驱动世界模型推理，看看预测曲线是否匹配，再上真机。上真机前还可以做一个“感知一致性测试”：让机器人执行一段固定轨迹，同时记录真实触觉和世界模型预测的触觉，如果两条曲线的趋势吻合，说明模型对这个环境的物理规律理解基本正确；如果预测曲线明显偏差，先不要急着调模型，先检查传感器坐标系和数据预处理是否一致。这个习惯帮我省了很多时间，因为很多时候问题根本不在模型，而在数据链路。
3.4 一个小例子：从N0-TWAM看插孔任务如何推理
我们先拿最常见的USB插孔任务串一下流程。末端执行器抓着一根USB线接近接口，视觉相机拍到了接口大概位置，机器人开始向下移动。当USB头刚碰到接口时，触觉传感器捕捉到一个很小的力突变，N0-TWAM将当前视觉图像、力向量和机器人关节角度输入坐标编码，得到潜在状态 (z_t)，然后对候选动作（比如下移1mm、左移0.5mm等）逐一代入世界模型，预测未来一步的接触力。如果预测力会突然增大超过阈值，模型判定这个方向可能卡住，就换一个方向。整个过程里，视觉负责粗定位，触觉负责精修正，世界模型负责在动作未执行前把“手感”先体验一遍。这就是为什么N0-TWAM能在接触富集操作上做出新东西——它不是让模型记住一条轨迹，而是让模型拥有一种预测物理碰撞后果的能力。
这个例子里有一个容易被忽略的关键点：动作候选集的生成方式。你不可能让世界模型把所有连续动作都遍历一遍，所以需要一个低层策略或者采样器来生成候选动作。我们用的是相对位移采样：以上一步动作作为均值，加一个高斯噪声生成一批候选，然后通过世界模型打分。后来发现，把候选动作的数量从50个增加到200个，成功率提升非常明显，但推理时间也会线性增加。实际部署时要做一个硬件侧和算法侧的协同设计：控制频率允许更高的，多采一些样；控制周期紧张的，就减少采样数量，用更智能的采样策略（比如基于历史经验的交叉熵方法）。这算是N0-TWAM这类模型落地时最务实的调优思路。
4. 我在复现触觉世界模型时踩过的坑（N0-TWAM经验谈）
4.1 信号噪声：触觉不是“干净数据”
很多人第一次拿到触觉传感器数据都会天真地以为它像视频一样干净，事实上触觉信号噪声大得多。力传感器受温度漂移影响，零点会慢慢移动；视觉式触觉传感器的凝胶会被磨损，输出图像的亮度分布会变化。如果没有做标定和归一化，模型会把这些漂移当成真实的物理变化，导致预测越来越离谱。我的做法是：每一段训练数据开始前，取一段无接触的力信号做均值归零；对于触觉图像，做基于参考帧的差分，尽量保留形变信息，去掉环境光照影响。这些小操作虽然不起眼，但对模型收敛的帮助非常明显。
力传感器的零点漂移尤其阴险。有一次我们采集了两个小时的数据，开始前明明标定过零点，结束时发现零点偏了差不多2N。如果不知道这件事，模型就会学到“悬空状态下的力是2N而不是0N”的错误规律，后续在所有涉及接触力阈值的判断里都会出错。后来我们养成了一个习惯：每次数据采集任务的前后都记录50帧静止无接触信号，用它们的平均值作为该段数据的零点偏移量，并在预处理阶段减掉。测完对比发现，模型的预测误差直接下降了30%以上。触觉数据清洗这件事，真的值得多花时间。
4.2 模态失衡：模型只盯着触觉，视觉就废了
加入触觉之后，模型可能会反过来过度依赖触觉，尤其是接触发生的时候。因为接触力的变化和任务成败直接相关，模型发现只看力信号就能把下一状态预测得很准，于是渐渐忽略视觉信息。结果就是，一旦换了新任务或者传感器布局变了，模型立刻失灵。解决这个问题的标准手段是“模态随机丢弃”：训练时按一定概率随机屏蔽视觉或触觉输入，让模型不能依赖单一模态。我测试过屏蔽比例，默认30%的输入通道置零效果比较好。还有一招是给视觉分支和触觉分支分别设置梯度权重，避免触觉分支主导backbone。
模态失衡还有一个比较隐蔽的表现：模型在训练集上loss很漂亮，但测试时只要触觉传感器被碰了一下（甚至只是线缆晃动导致的数值异常），整个预测就崩了。这说明模型已经变成“触觉单通道”的奴隶。我们后来在训练脚本里加了一条规则：每一轮迭代随机屏蔽视觉或者触觉中的一个模态，屏蔽概率按指数衰减，训练后期只保留很小的屏蔽概率用于正则。这样既能保证前期让模型学会独立模态的特征，又能让它在后期学会跨模态融合。世界模型要的是“互补”，不是“替代”。
4.3 7B推理太慢，怎么上实时控制
7B参数的Transformer在GPU上推理，一个step大约几十毫秒到几百毫秒，看起来很快，但控制循环通常需要10到50Hz的更新频率，每个控制周期还要做多次候选动作采样，算力会瞬间爆炸。我们在项目里做的第一轮优化是量化：把模型用INT8量化，推理速度提升约3倍，预测精度几乎不受影响。第二轮优化是缓存：历史观测的特征可以缓存，不用每次重复计算视觉encoder。第三轮是剪枝或者蒸馏：如果控制频率要求大于50Hz，建议把N0-TWAM蒸馏到一个500M参数的专用预测器，只保留特定任务的触觉预测能力。
这里提醒一个部署误区：不要试图把世界模型塞进实时控制器的同一个线程。世界模型的预测应该是“慢思考”的节奏，而低层反馈控制需要的是“快反应”。在实际系统里，我们让世界模型在另外一台GPU服务器上运行，通过ROS service或gRPC接口提供预测服务，机械臂本地只跑一个轻量级阻抗控制器，每收到一次世界模型的评分结果就更新目标位姿。实验下来，整体控制频率可以做到20Hz左右，对于插孔、装配这类任务已经够用。请记住，7B在真实机器人上很少能直接裸跑，它更像一个“教师”或者离线规划器。把世界模型当做低层控制环路上的“慢思考”，把轻量策略当作“快反应”，是实际部署时更稳妥的架构。
4.4 训练崩溃：预测误差发散怎么办
世界模型训练最常见的现象是loss先下降，突然某一步开始发散。我排查过几次，原因多数不是梯度问题，而是触觉观测的维度不一致。特别是在真实数据里，某几段数据力传感器没接好，记录的都是0值；另一段数据传感器坐标系被拧了180度，力和力矩的正负号完全反了。模型面对这种“同一状态对应两个不同触觉”的数据，只能强行记住，最终导致崩溃。排查技巧是：把训练数据的触觉通道可视化，看每个batch的t-SNE聚类，如果看到明显按时间片段聚类而不是按任务阶段聚类，那基本就是传感器标定不一致。建议对力信号做坐标系标准化，建立统一的工具中心点（TCP）坐标系，所有传感器读数都要变换到TCP上。
我还遇到过一次特别的发散：触觉图像的分辨率太高，直接resize到224×224会导致细小的形变纹理丢失，而模型又试图通过这些纹理预测接触状态，结果就是loss震荡。后来我们用了一种“多尺度触觉输入”的方式，把原始高分辨率触觉图像和低分辨率的全局图同时输入模型，让模型自己决定该关注哪一层细节。这样处理之后，训练明显稳定了。如果你在复现N0-TWAM时也遇到loss发散的困扰，可以先从这几个方向下手：数据一致性、坐标系、输入分辨率、模态丢弃比例。这些工程细节往往比调参更关键。
5. N0-TWAM的评估维度与尚未解决的边界
5.1 接触富集任务的评估指标怎么定
接触富集任务不是只看任务成功率那么简单。我推荐三个维度：任务成功率、平均接触力峰值、最大插入偏差。成功率说明模型能不能完成，接触力峰值说明它动作够不够柔和，插入偏差说明它能否在视觉模糊的情况下精确定位。有的项目还会看“接触-释放次数”——也就是机器人反复试探的次数，这个指标越小说明世界模型的预测越准确。N0-TWAM这类触觉世界模型的优势，正是可以通过预测未来触觉来减少盲目试探。在评估时，不要只在固定位置测试，建议随机扰动起始位置和工件角度，测出“扰动-成功率”曲线，这样才能看出模型是真心学会了还是死记硬背了一条轨迹。
评估时还有一个容易忽视的细节：接触力峰值不能只看平均值，要看“超过安全阈值的持续时间”。有些动作虽然瞬间冲击很大，但因为持续时间短，可能不会损坏工件；而有些动作峰值不高，但一直保持在一个高风险的水平，反而更危险。我们在评估N0-TWAM风格模型时，额外记录了一个指标：接触力超过阈值的总时长占比。这个指标能更真实地反映模型对接触过程的理解深度。如果模型预测触觉很准，它的动作会在“轻触碰”和“稳定插入”之间平滑过渡，而不是忽大忽小。
5.2 泛化性：换夹具、换工件会怎样
触觉世界模型最尴尬的边界是传感器迁移。N0-TWAM在A型力传感器上训练出来的触觉表征，如果直接换到B型传感器上，输入分布完全不同，预测大概率崩。解决这个问题的方向是领域随机化和传感器无关表征：训练时随机改变触觉信号的增益和偏移，让模型学到相对变化而非绝对值。另外，工件材质变了，摩擦系数不同，接触力曲线也会有差异。目前有限参数下，N0-TWAM的泛化范围我觉得主要在同构或近形任务上。如果你需要跨形态（比如从插USB到拧螺丝），最好在微调数据里加入少量目标任务样本，让世界模型重新校准接触动力学。
换一个角度想，跨材质的情境其实很像人类的感觉适应：你拿起一个玻璃杯和拿起一个铁杯，视觉上看不出重量差异，但触觉会告诉你。模型也需要通过触觉信号自适应地调整内部的对物理参数的估计。我们试过在触觉编码器后面加一个“材质风格向量”的隐变量，模型在预测时会根据前几步的触觉序列推断当前工件的材质属性，相当于让模型自己适应新材料。这个思路和N0-TWAM的泛化目标是一致的，但能不能在7B参数规模下稳定学到这种适应能力，还需要更多实验验证。如果你做这块，建议从“预测残差”入手——先让模型预测标准材质下的力，再用一个小的适配网络预测材质差异带来的修正，这样比直接让模型从头学习新材质更稳定。
5.3 从7B到更大：参数规模真的越大越好吗
不少人觉得，既然世界模型这么重要，那是不是冲到70B甚至更大模型会更强？我的观点是：世界模型的瓶颈不在记忆容量，而在对物理约束的精确建模。接触富集操作是典型的强约束问题，不需要从长尾数据里挖掘刁钻知识。更大的模型可能学会更多花哨的视觉纹理，但对力的预测精度未必提升，反而会增大推理延迟。N0-TWAM把7B作为一个“足够而不过度”的规模，我认为是经过权衡的设计。未来真正能撬动新范式的可能不是参数数量，而是触觉传感器本身的分辨率和采样率——模型再大，也变不出传感器没有捕捉到的物理量。所以与其卷参数量，不如卷数据质量和新模态。
还有一个反直觉的点：参数小的模型在触觉预测上有时反而更鲁棒。大模型的强大表征能力让它能够完美拟合训练数据里的每一个细节，也让它更容易记住传感器特有的人工痕迹，比如某个力传感器在临近满量程时的非线性响应。小模型容量有限，被迫只学习最核心的物理规律，反而能更好地泛化到新传感器。我见过一个极端的例子，一个200M的模型在跨传感器迁移上的表现优于同结构的1.5B模型，就是因为你喂给它的数据本身不够“干净”，大模型把噪声也当成了规律。N0-TWAM选择7B，也算是在容量和鲁棒性之间做了一个比较明智的平衡。
6. 写在后面：一点个人体会
N0-TWAM给了我们一个很好的提醒：具身智能的下一站，可能不只是让模型“看见世界”，而是让模型“感受世界”。我自己的经历是，第一次用手臂力传感器做数据采集时，完全低估了触觉信号里蕴藏的信息量。那种数据不是像素，是力量，是每一次接触瞬间的“手感”。复旦和NeoteAI把触觉装进世界模型，7B参数的选择也很聪明，不炫技，直奔触觉和物理交互这个真问题。如果你也在做机器人控制、具身智能或者世界模型方向，我建议可以认真复现一下N0-TWAM的设计思路，从数据同步、触觉编码、预测目标三个环节入手，你会明显感受到模型对接触过程的“手感”正在一点点长出来。做这一行耐心很重要，触觉数据的坑很多，但只要跨过去，后面就是一片新大陆。
