零机器人数据预训练：3D动态表征如何横扫6/7操作任务

1. 这个项目到底在解决什么问题

第一次看到“不用一条机器人数据，3D动态预训练横扫6/7操作任务”这个说法，我的反应是：又是一个标题党。机器人操作这个领域，数据饥渴是出了名的——想训一个能抓能放能开抽屉的策略，动辄要几万条真机演示，采一条数据少则几十秒多则几分钟，还得搭真机、请人遥操作、处理各种硬件故障。说“零机器人数据”就能打，直觉上不太可信。

但把思路捋一遍之后，我发现这个方向其实非常合理，而且它戳中的正是当前机器人学习最疼的那根刺：数据从哪来。

传统路线大致分两派。一派是“真机派”，靠大规模遥操作采集真实演示，代表就是各种开源操作数据集，优点是分布真实、直接可用，缺点是贵、慢、难扩展，换个任务、换个本体基本要重采。另一派是“仿真派”，在仿真器里批量生成轨迹，优点是便宜、可控、能上大规模，缺点是仿真和现实之间有鸿沟，光照、摩擦、形变、接触动力学全都对不齐，迁移到真机经常掉点。

这个项目走的是第三条路：不采机器人数据，也不依赖仿真器里的机器人轨迹，而是拿海量的人类视频和3D动态信息做预训练，让模型先学会“世界怎么动”，再迁移到机器人操作上。核心逻辑是——操作任务的本质是“预测并影响物体的运动”，而物体的运动规律在人类视频里到处都是，不需要机器人亲自去试。

它要解决的问题可以拆成三层：

• 数据成本问题：机器人演示数据采集成本极高，能不能用非机器人数据替代或大幅减少？
• 表征问题：怎么从视频里学到对操作真正有用的3D动态表征，而不是只学到2D纹理？
• 迁移问题：预训练学到的东西，怎么高效地接到下游操作任务上，且不依赖大量微调数据？

适合读这篇的人：做机器人学习、具身智能、视频预训练方向的研究者和工程师；想了解“预训练+微调”范式在机器人领域怎么落地的人；以及被数据采集折磨过、想找替代方案的一线从业者。哪怕你不做机器人，只要关心“如何用无标注数据学动态表征”，里面的思路也有参考价值。

说明：下面涉及的具体网络结构、训练细节、参数配置，部分是基于该类工作的常见实践做的合理补全，因为原始描述比较零散。我会明确标注哪些是推断、哪些是通用做法，避免误导。

2. 核心思路拆解：为什么“3D动态预训练”是关键

2.1 从2D视频预训练到3D动态预训练，差在哪

视频预训练在视觉领域早就不是新鲜事。拿海量视频训一个时序模型，学到的表征能迁移到动作识别、视频问答等任务。但直接把这套搬到机器人操作上，效果往往一般，原因很直接：2D视频里的“动”是像素在动，不是物体在三维空间里动。

举个生活化的例子。你看一段“把杯子从桌上拿起来”的视频，2D层面你看到的是杯子区域的像素往上移、手部像素靠近杯子。但真正决定操作成败的是：杯子的三维位置、手的抓取点、接触时的力方向、杯子被抬起时的姿态变化。这些信息在2D像素里是被压扁、被透视扭曲的。模型如果只学2D动态，它学到的是“这类像素模式通常伴随那类像素模式”，而不是“物体在空间中如何被移动”。

3D动态预训练要做的，就是让模型在预训练阶段就接触到三维空间中的运动结构。常见做法有几种：

• 用单目深度估计或点云重建，把视频帧提升到3D表示，再在3D空间里建模运动；
• 用多视角视频，直接获得带几何约束的动态；
• 用隐式的3D感知表征（比如带相机参数的时空Transformer），让模型自己学出空间一致性。

这个项目的“3D动态”大概率是走“视频+几何先验”的路线：输入人类操作视频，模型同时预测物体的3D运动轨迹或场景流，而不只是预测下一帧像素。这样学到的表征天然带有空间和物理的归纳偏置，迁移到机器人操作时，模型已经“理解”了物体在三维里怎么动，只需要学“我的机械臂怎么去产生这种动”。

2.2 为什么敢说“不用一条机器人数据”

这里要区分两个概念：预训练不用机器人数据，和整个流程完全不用机器人数据。

从标题“不用一条机器人数据”来看，最合理的解读是：预训练阶段完全不碰机器人演示，纯靠人类视频和3D动态信息。下游迁移时，可能仍然需要少量机器人数据做微调，也可能用零样本或少样本的方式直接适配。标题说“横扫6/7操作任务”，通常意味着在7个下游任务里有6个达到了可用甚至领先的水平，剩下1个可能因为任务特性（比如需要特定力控或特定本体）没打好。

为什么人类视频能替代机器人数据做预训练？因为操作任务的物理本质是共享的。人手抓杯子和机械爪抓杯子，接触动力学、物体运动规律、任务目标（把杯子移到某处）是一样的。差异在于执行器的形态和运动学。预训练学的是“任务和物体的动态”，微调学的是“我的本体怎么执行”。把这两件事解耦，就能用便宜的人类视频学前者，用少量机器人数据学后者。

这个解耦思路是整篇工作的灵魂。它把“学什么”和“怎么执行”分开，让数据成本最高的部分（理解世界动态）用最便宜的数据（网络视频）来解决。

2.3 方案选型背后的取舍

我推测这个项目在几个关键点上做了明确取舍：

第一，预训练目标选“动态预测”而不是“对比学习”。对比学习（比如拉近同一视频不同增广的表示）能学到语义，但对“运动”不敏感。操作任务恰恰对运动最敏感，所以预训练目标必须显式包含运动预测，比如预测未来帧的3D场景流、预测物体轨迹、预测接触点变化。

第二，表征选“3D感知”而不是“纯2D”。前面说了，2D动态不够。但纯3D重建又太重、太慢，且对视频质量要求高。折中方案是用带几何约束的隐式表征，既保留3D结构，又不至于被重建误差拖死。

第三，迁移策略选“参数高效微调”而不是“全量微调”。如果预训练真的学到了通用动态，那下游只需要调一小部分参数就能适配新任务。全量微调容易过拟合到少量下游数据，也浪费了预训练的知识。常见做法是冻结主干、只训适配层或提示向量。

这三条取舍合在一起，构成了一个“便宜预训练+轻量迁移”的完整故事。它不一定在每个任务上都刷到SOTA，但它的数据效率优势是实打实的。

3. 核心细节解析与实操要点

3.1 预训练数据从哪来、怎么处理

人类操作视频的来源通常有几类：公开的第一视角操作视频、教学视频、日常活动视频。这些视频的特点是：有手、有物体、有交互，但相机在动、光照多变、视角杂乱。

处理流程一般包括：

1. 筛选：去掉没有手-物交互的片段，去掉镜头剧烈晃动或严重遮挡的片段。这一步很关键，垃圾进垃圾出。
2. 分段：把长视频切成短片段，每段包含一个相对完整的动作单元（比如“拿起-移动-放下”）。
3. 几何估计：对每帧估计深度或相机参数，把2D像素提升到3D。单目深度估计现在有不错的模型，但噪声大，通常要配合时序平滑。
4. 手部与物体标注：检测手部关键点和物体区域，作为动态预测的监督信号。手部关键点可以用现成的手部姿态估计器，物体区域可以用分割或检测模型。
5. 构建训练对：把“当前帧+历史”作为输入，“未来若干帧的3D动态”作为预测目标。

注意：几何估计的噪声是这类方法最大的坑。深度估计在透明物体、反光表面、快速运动上经常崩。实操中要么用多帧一致性做过滤，要么在损失函数里对低置信度区域降权，否则模型会学到一堆噪声。

3.2 3D动态表征具体怎么建

这是整个项目的技术核心。我按常见实现拆一下可能的做法。

输入表示：视频片段 + 相机参数（或估计的相机参数）。每帧经过视觉编码器得到特征图，同时用深度估计得到每像素的深度，反投影成点云或体素。

时空建模：用Transformer或3D卷积在时空维度上建模。关键是要让模型在3D空间里做注意力，而不是在2D特征图上做。比如把点云特征作为token，让注意力在三维邻域内计算，这样学到的运动是空间一致的。

预测目标：常见的有几种组合——

• 场景流预测：预测每个3D点从当前帧到未来帧的位移。
• 轨迹预测：预测手部和物体的未来3D轨迹。
• 占用预测：预测未来时刻的三维占用栅格，这对操作避障很有用。

损失函数：通常是多任务加权。场景流用端点误差，轨迹用L2或Huber，占用用交叉熵。权重需要调，动态预测任务里轨迹损失通常权重要高一些，因为它直接对应操作目标。

表征输出：预训练完成后，取中间层的时空特征作为下游任务的输入。这个特征应该同时包含“物体是什么”和“物体怎么动”的信息。

3.3 下游迁移怎么做才不浪费预训练

预训练再好，迁移不对也白搭。这个项目在6/7任务上能打，迁移策略肯定有讲究。

冻结主干+轻量适配：预训练的主干参数冻结，只训练一个小的适配模块（比如几层MLP或一个交叉注意力层），把预训练特征映射到动作空间。这样既保留了通用动态知识，又用少量数据适配了具体任务。

动作空间设计：机器人操作的动作通常是末端执行器的位姿增量或关节角增量。适配模块要输出的是动作，但预训练学的是3D动态。中间的桥梁是：把“期望的物体运动”映射到“末端执行器该怎么动”。这一步可以用一个逆动力学模块，或者直接让适配层端到端学。

少样本微调：如果下游任务允许少量演示，可以在适配模块上做少样本微调。通常几十条演示就能看到明显提升，因为预训练已经把“世界怎么动”学好了，微调只需要对齐“我的本体怎么动”。

零样本尝试：对于和预训练分布接近的任务（比如抓取常见物体），可以尝试零样本直接输出动作。做法是用预训练模型预测物体期望轨迹，再用一个解析或学习的控制器去跟踪。这条路对任务泛化要求高，但一旦work，数据成本几乎为零。

实操心得：迁移时最容易被忽略的是观测空间对齐。预训练用的是人类视频的视角和相机参数，下游机器人用的是自己的相机。如果观测空间差异太大，预训练特征会失效。常见做法是在预训练阶段做视角增广，或者在下游加一个观测适配层，把机器人观测映射到预训练特征空间。

4. 实操过程与核心环节实现

4.1 环境与依赖准备

假设你要复现或借鉴这套流程，环境大致需要：

• 深度学习框架：PyTorch为主，分布式训练用DDP或FSDP。
• 视觉骨干：可以用现成的视频Transformer或3D卷积网络，也可以从头训。
• 几何工具：单目深度估计模型、相机标定工具、点云处理库。
• 手部/物体检测：手部姿态估计器、通用分割或检测模型。
• 机器人仿真（可选）：如果要做下游验证，需要一个仿真环境来快速迭代，但预训练本身不需要。

硬件上，预训练阶段对算力要求高。按常见规模，视频预训练通常需要多卡A100级别跑几天到几周。如果只是复现小规模实验，单卡24G显存也能跑，但要把batch size和分辨率降下来。

4.2 预训练流程分步拆解

第一步：数据管道搭建。把视频解码、抽帧、几何估计、手物检测串成流水线。这一步的瓶颈通常在几何估计，因为要对每帧跑深度模型。优化方法是抽帧时降采样（比如每秒2-4帧），或者用轻量深度模型。

第二步：构建训练样本。每个样本包含：输入视频片段（比如8帧）、对应的深度/点云、手部关键点、物体mask、未来若干帧的动态标签。样本要打乱，避免同一视频的片段集中在一个batch。

第三步：模型初始化。视觉骨干可以用预训练权重初始化（比如在图像或视频数据集上训过的），几何分支和动态预测头随机初始化。

第四步：训练循环。前向得到3D动态预测，计算多任务损失，反向更新。关键超参包括：学习率（通常用warmup+余弦衰减）、batch size（尽量大）、损失权重（需要调）。

第五步：表征评估。预训练完不能直接看损失，要用下游任务或探针任务评估表征质量。常见探针包括：线性分类物体类别、预测物体运动方向、少样本抓取成功率。

第六步：下游适配。冻结主干，接适配层，用少量机器人数据训练。评估指标是任务成功率。

4.3 关键参数与选择过程

这里给几个常见参数的选择逻辑，具体数值需要根据你的数据和算力调。

参数选择没有银弹，核心原则是：预训练阶段让模型充分学动态，下游阶段让适配层充分对齐本体。如果下游成功率低，先检查预训练表征探针分数，再检查适配层容量和微调数据量。

4.4 一个可参考的最小实验设计

如果你想快速验证这套思路，可以设计一个最小实验：

1. 选一个简单的操作任务，比如“把方块推到目标位置”。
2. 预训练数据用几十段人类推物体的视频，做3D动态预测预训练。
3. 下游用仿真环境采几十条机器人演示，冻结主干训适配层。
4. 对比基线：从零训的策略、用2D视频预训练的策略、用3D动态预训练的策略。
5. 看成功率差异。

这个实验规模不大，但能验证核心假设：3D动态预训练是否比2D预训练更有利于操作迁移。如果差异明显，说明方向对；如果没差异，可能是预训练数据太少或表征没学好。

5. 常见问题与排查技巧实录

5.1 预训练损失降不下去怎么办

先分情况。如果训练损失就不降，通常是优化问题：学习率太大、损失权重失衡、或者数据管道有bug（比如标签和输入错位）。如果训练损失降但验证损失不降，是过拟合，需要加数据或加正则。

实操中我遇到最多的是几何估计噪声导致损失震荡。深度估计在某些帧上突然崩掉，动态标签全是错的，损失就炸。解决办法是对几何估计做置信度过滤，低置信度帧直接跳过或降权。

5.2 下游迁移成功率低怎么排查

按这个顺序查：

1. 预训练表征质量：用线性探针测一下，如果探针分数就低，说明预训练没学好，回去调预训练。
2. 观测空间对齐：可视化预训练特征和下游特征的分布，如果差异大，加观测适配层或做视角增广。
3. 适配层容量：太小欠拟合，太大过拟合。试着调适配层大小。
4. 微调数据量：如果只有几条演示，可能不够。加到几十条看看趋势。
5. 动作空间设计：动作是绝对位姿还是增量？增量通常更好学。动作范围有没有归一化？

5.3 常见问题速查表

避坑技巧：预训练阶段一定要留一个小的验证集，且验证集的任务类型要和下游接近。如果验证集全是日常视频，下游是精细操作，验证分数会虚高，误导判断。

5.4 几个容易被忽略的细节

相机参数的处理。人类视频的相机参数通常未知，估计出来的也不准。常见做法是把相机参数作为可学习参数一起训，或者用相对相机运动做增广，让模型对相机变化鲁棒。

手部遮挡。人类操作视频里手经常挡住物体，导致物体动态标签缺失。处理方法是只在手部mask外的区域算物体动态损失，或者用补全模型预测被挡部分。

时序对齐。视频帧率和机器人控制频率通常不一致。预训练学的是视频帧率下的动态，下游控制频率可能更高或更低。迁移时要做时间尺度对齐，比如插值或降采样。

任务多样性。预训练数据如果只有抓取，下游做开门可能迁移不好。尽量让预训练数据覆盖多种操作类型：抓、推、拉、旋转、放置。

6. 这套思路的影响范围与延展

6.1 对机器人学习范式的冲击

如果“零机器人数据预训练+轻量迁移”这条路真的走通，影响是深远的。最直接的是数据成本结构改变。过去做机器人学习，预算大头在数据采集。现在大头在预训练算力和视频数据处理。对于算力充足但采数据困难的团队，这是利好。

更深层的是研究重心的转移。当预训练能提供通用动态表征，下游研究的重点就从“怎么设计网络”转向“怎么设计任务接口和适配策略”。这有点像NLP领域预训练大模型出现后的变化：大家不再从头训语言模型，而是研究怎么微调、怎么提示、怎么对齐。

6.2 可能的延展方向

多本体迁移。预训练学的是任务动态，理论上可以迁移到不同机器人本体。如果成立，一套预训练模型可以服务多种机械臂、夹爪、移动平台。这对机器人软件生态是大事。

长时序任务。当前工作可能聚焦短时序操作。延展到长时序（比如做一顿饭）需要模型有任务分解和记忆能力。3D动态表征可以作为底层感知，上层接任务规划。

与强化学习结合。预训练提供表征和动态模型，强化学习用这个模型做规划或策略优化。模型-based RL 在机器人上一直受限于模型不准，3D动态预训练可能提升模型精度。

真实世界部署。从论文到产品还有距离。真实世界的物体多样性、光照变化、硬件故障都是挑战。但数据效率的优势让这条路值得投入。

6.3 对从业者的实际建议

如果你在做机器人学习，我建议至少花时间理解这套范式的核心：解耦“学世界”和“学执行”。哪怕你不用这个具体方法，这个思路也能帮你重新审视自己的数据策略。

具体行动上：

• 先小规模验证：用公开人类视频做预训练，在自己的任务上测迁移效果。
• 关注表征质量：不要只看下游成功率，要看预训练表征本身好不好。
• 积累视频数据管道：几何估计、手物检测这些工具链是通用的，早搭早受益。
• 保持对仿真和真机的平衡：预训练可以不用机器人数据，但最终验证还是要回到真机。

我个人在实际操作中的体会是，这类方法最大的价值不在于某个具体任务的SOTA，而在于它打开了一个新的数据来源。机器人学习长期被数据卡脖子，如果人类视频真能大规模替代，整个领域的迭代速度会上一个台阶。当然，从论文到稳定可用的工程系统，中间还有大量脏活累活，尤其是几何估计的鲁棒性和跨域迁移的稳定性。但方向是对的，值得跟。