22‑DoF 双手灵巧手视‑触觉 WAM，专门解决分布式多指尖触觉
——DexTacWAM
目录
01 灵巧手视触建模的现实矛盾
现有视触机器人技术路线固有短板
02 DexTacWAM完整技术链路
多指尖触觉编码器
视‑触联合世界模型Transformer
分模态K/V RMS归一化动作专家
持续视觉‑触觉迁移学习（三阶段训练）
03 真实双手机灵巧手硬件实验
04 写在最后
灵巧手完成拧瓶盖、物体交接这类接触密集操作时，打滑、接触压力变化很多信息是视觉看不到的。现有不少视触机器人方案只是把触觉读数喂给策略网络，只能读取当前时刻接触信号，无法预判未来接触状态变化。
伊利诺伊大学厄巴纳‑香槟分校、伯克利、西北大学提出DexTacWAM视触世界‑动作模型，独立编码每一根指尖触觉信号，通过手指‑位姿感知触觉压缩器完成特征聚合，将触觉潜态注入视频扩散世界模型，实现视觉场景与分布式多手指接触动力学的联合建模。
01 灵巧手视触建模的现实矛盾
现有视触机器人技术路线固有短板
对于灵巧手操作，视觉只能看到物体外观，手指内部接触、摩擦力、打滑属于隐式物理状态，这也是视触学习绕不开的难点，现有方案主要分为三类：
- 触觉仅作为策略附加条件输入
把指尖力觉信号直接拼接进策略网络。模型只能读取当下触觉观测，不会推演未来接触变化。一旦出现物体遮挡、双手交接，缺少对后续打滑、压力切换的预判，操作稳定性会大幅下滑。
RDP就属于这类路线，拥有完整触觉输入，但不会预测接触演化。
- 夹爪视触世界模型（VTAM、VT‑WM）
面向二指平行夹爪设计视触世界模型。夹爪触觉感知集中简单；但灵巧手是十根手指分布式感知，需要保留手指身份、局部接触位置、手部姿态关联信息，直接迁移会丢失大量细粒度接触线索。
- 触觉辅助头自回归预测（ViTacFormer）
在策略内部增加分支预测未来触觉token，但不联合预测视觉画面。触觉、视觉两套模态相互独立，没有统一联合潜态世界，两者时序演化无法互相约束。
而DexTacWAM的核心定位是：触觉不是策略的附属输入，而是世界模型需要预测的世界状态的一部分。
同时考虑触觉数据采集成本高，复用大规模预训练视频先验，不需要从零训练全套视触大模型，通过迁移学习用有限触觉数据完成适配。
02 DexTacWAM完整技术链路
整套训练流程分为三阶段：触觉编码器适配、持续视觉‑触觉迁移学习、动作专家训练。推理阶段，世界模型输出联合视‑触潜态，交由动作专家生成灵巧手动作。
▲图 | DexTacWAM整体架构，双Transformer设计：世界模型Transformer与动作模型Transformer
多指尖触觉编码器
研究做了工程化复用：直接复用冻结的预训练视觉VAE处理每一个指尖触觉图。单通道触觉灰度图通过轻量1×1适配器复制到RGB三通道，送入VAE得到每根手指独立触觉潜特征。
单指尖触觉编码：灰度转RGB适配器，
为冻结的视觉VAE编码器，输入单指尖触觉图输出该手指的触觉潜向量。
如果直接把十路指尖特征全部送入主干，token数量爆炸，算力开销难以承受。
因此设计手指‑位姿感知触觉压缩器。
▲图 | 多指尖触觉编码器与手指‑位姿感知触觉压缩器流程示意图
压缩器给每个手指增加可学习身份嵌入，同时注入手部本体姿态编码；利用自注意力池化，将同一只手5路指尖特征压缩为单组手部级潜态。
这套压缩可以保留89.4%接触召回率，训练速度提升2.26倍，推理速度提升1.29倍，平衡接触信息留存和计算开销。前后设置预融合、后融合两级触觉流重建损失，约束压缩过程不丢失局部接触细节。
视‑触联合世界模型Transformer
世界模型Transformer划分模态内自注意力与跨模态自注意力。
视觉token、左手触觉token、右手触觉token先各自做模态内注意力，再通过跨模态注意力实现模态交互，输出联合视触世界潜态。
视觉潜态，
左手压缩触觉潜态，
右手压缩触觉潜态；该联合潜态代表预测得到的未来世界，同时包含画面演化和多手指接触状态演化。
世界模型会预测未来触觉潜态变化，区别于仅把触觉作为条件输入的基线。
扩散损失拆分视觉、触觉两个模态分别加权，同时监督画面和接触动力学。
分模态K/V RMS归一化动作专家
视觉潜态与触觉潜态数值分布差异巨大，直接拼接会造成注意力偏向视觉模态，动作模型难以收敛。
动作专家读取世界模型输出的联合潜态，结合手部本体状态，一次性输出多指尖力预测、臂部动作、手部目标姿态。
不需要重建原始图像、原始触觉图，直接消费世界模型预测潜特征。
持续视觉‑触觉迁移学习（三阶段训练）
真实世界触觉采集成本很高，每一次样本都需要物理触碰交互。整套训练分三步，保护预训练得到的视觉能力不被破坏：
▲图 | DexTacWAM整体总览：三阶段训练流程、多指尖触觉压缩器、模型架构概览以及六项真实灵巧操作任务结果
- 冻结视觉VAE，使用约4小时双手机器人交互数据，只训练灰度‑RGB适配器和触觉压缩器；
- 冻结全部触觉编码器，每个任务使用约100条视‑触遥操作演示，微调视频扩散世界模型主干，学习预测触觉潜态；
- 冻结世界模型，从零初始化训练动作专家，使用相同任务演示数据。
不过这套复用VAE的方案成立前提是，触觉传感器输出二维空间触觉图；因为一维力/力矩传感器没有图像式空间结构，则无法直接复用该编码器设计。
03 真实双手机灵巧手硬件实验
硬件平台为22自由度Sharpa双手机灵巧手；六项接触密集任务：带遮挡方块放置、物体交接、双手擦拭、镊子夹取小番茄、碗分离、拧开瓶盖。
每个方法每项任务执行20次真机试验，所有方法相机观测配置保持完全一致。
▲表| 真实硬件六项接触密集型灵巧任务得分(%)；DexTacWAM对比各基线模型结果
DexTacWAM在全部六项任务取得最高分，平均得分70.6%；基线RDP仅38.0%。
其中夹取任务差距最为突出，DexTacWAM达到60%，其余基线最高仅10%，该任务几乎只能依靠触觉感知夹持状态，视觉信息非常有限。
在消融实验下：保持触觉特征、动作专家不变，如果移除触觉世界建模，只把触觉当做条件输入，四项任务平均分直接从74.7暴跌至26.6。
这直接证明性能增益来自预测接触演化的世界建模，而不是简单多一路触觉输入。
另外一组消融，关闭分模态K/V RMS归一化，动作专家直接无法收敛。
全部分数来自桌面真机多次rollout统计；测试均为静态物体桌面接触任务；这套指标不能直接外推高速冲击、剧烈动态交互场景。
▲表| 策略级别消融实验，完整模型、移除触觉世界建模、移除分模态K/V RMS归一化的任务得分
04 写在最后
DexTacWAM给出一个很务实的认知：面向灵巧手的视触学习，不能止步于把当前触觉喂进策略网络。想要处理视觉看不见的打滑、接触切换，世界模型本身就必须推演未来多指尖接触状态。
通过手指‑位姿感知压缩解决多指尖触觉算力爆炸，再依托持续视觉‑触觉迁移学习，复用预训练视频先验，用有限真实触觉数据完成适配。
当然该工作存在硬件与场景约束，依赖二维阵列触觉传感器，实验集中于桌面静态物体。它为多手指灵巧操作视触世界‑动作模型提供了一条可行的技术路线。
Ref：
论文标题：DexTacWAM: A Visuo‑Tactile World‑Action Model for Dexterous Manipulation
论文链接：https://arxiv.org/pdf/2609.24976
项目链接：https://dextacwam.github.io/
)
