做视觉决策的朋友多少都有过这种体验：视频预测模型的指标已经刷得不错，生成出来的未来帧也挺自然，结果一接到下游策略里，智能体该撞墙还是撞墙、该拿不到的物体还是拿不到。这不是个别现象，而是预测模型和策略模型在优化目标上天然脱节造成的。Video Prediction Policy 2 这条思路想解决的，正是“预测得更好”和“行动得更好”之间的那条鸿沟——怎么让视频预测真正为策略服务，而不是做个只会出图的摆设。
这个方向适合三类人：做视觉模仿学习的，做模型预测控制或强化学习的，以及在机器人、自动驾驶等场景里想把纯视觉观测接入闭环决策的。接下来我会从行为克隆为什么容易卡住讲起，再到整套模型怎么搭、损失怎么配、训练怎么调，最后分享几个我在实际搭建和调试中反复踩过、也真正解决的坑。内容偏实操，理论部分尽量用直觉讲清楚，不堆公式。
1. 为什么“预测得更好”才能“行动得更好”——从行为克隆的瓶颈说起
1.1 行为克隆的短视：没有未来，就没有纠错能力
最直接的视觉决策做法是行为克隆：拿专家数据做“观测到动作”的监督学习。任务简单时很好用，一旦任务需要长时程规划就开始崩。核心原因是它只学了一个从当前观测到动作的映射，完全没有“未来”的概念。
举个简单的例子：机器人抓取中，如果目标要求先把障碍物推到一边再抓取目标物体，行为克隆往往会在“推障碍物”这一步之后不知所措。因为训练数据里这步之后的动作分布和当前状态不匹配，模型不知道下一步会发生什么。这不是模型容量不够，而是监督信号里根本没有未来信息——模型没有能力在脑海里模拟“如果我现在这样动，下一秒画面会变成什么样”。
1.2 视频预测作为世界模型：把决策问题变成“脑内推演”
如果先学会一个视频预测模型，事情就完全不同。策略不再只看当前帧，而是先生成未来几帧，再基于未来状态决定动作。这相当于让智能体在脑子里推演几步棋。人类下棋也不是看着棋盘直接落子，而是想象几步后的局面再评估。
Video Prediction Policy 的本质就是把这种“脑内推演”能力交给决策模型。预测出来的未来画面可以当策略输入的一部分，也可以作为价值评估的依据，让策略对长时程后果有感知。这种设计最大的好处是：真实环境交互代价高的时候，模型可以先在自己的预测里做低成本试错，而不是把所有错误都留给物理世界。
1.3 一个关键转折：预测目标不能只追求像素
早期视频预测研究把重点放在重建损失上，追求未来的像素和真实拍摄画面在数值上接近。这在视觉上舒服，但决策任务不一定买账。像素重建对纹理、阴影、背景抖动这类细节极其敏感，而策略真正关心的是物体位置怎么变、接触是否发生、目标是否被遮挡。
如果预测损失里全是高频纹理的权重，模型就会把容量浪费在重建背景纹理上，结果策略提取到的是被模糊噪声污染的特征。这也解释了为什么很多人做完视频预测再接策略反而变差：预测模型学到的未来表示和策略需要的未来表示根本不是一回事。所以 Video Prediction Policy 2 第一个关键设计，就是把预测目标从“像不像照片”转向“决策需要的信息准不准”，用感知特征匹配、动作一致性损失来监督预测模块。
2. Video Prediction Policy 2 的系统架构：从图像序列到动作输出
2.1 整体拓扑：编码器、动态模型、解码器与策略头
整套结构通常分成四个部件。帧编码器把原始观测压成低维隐向量，去掉光照、纹理等冗余信息；时序动态模型在隐空间里建模状态转移，输入当前隐状态和动作序列，输出未来隐状态；解码器把未来隐状态重建为画面，主要用来提供监督信号；策略头接收当前和未来的隐状态，直接输出动作分布。
用伪代码看会更直观：
# 推理流程示意（伪代码级别） latent = frame_encoder(current_obs) future_latents = latent_dynamics(latent, action_candidates) future_frames = decoder(future_latents) action = policy_head(latent, future_latents)这样的结构有一个明显好处：动态模型学的不是“某个像素点下个时刻变成什么颜色”，而是“关键物体和结构在运动后处于什么相对关系”，因此比直接用卷积网络堆状态到动作映射要稳得多。
2.2 为什么选择隐空间预测而不是像素空间预测
有人会问，既然最终要的是画面，为什么不直接在像素空间做预测？原因其实很实际：像素空间的可能未来是爆炸性的多模态。同一帧画面之后可能走向十几种不同结果，像素级回归会把所有可能平均成一张模糊图，这对决策来说就是灾难。
在隐空间里做预测，动态模型可以配合随机隐变量显式建模多种可能，再通过解码器把其中一种未来具体化。另一个原因是计算效率：高分辨率画面的像素级预测，训练和推理都很贵，而隐空间动态模型能把计算集中在语义变化上。即使预测结果最终还是要解码成画面，监督来自解码重建时的特征损失，也比直接回归像素的抗干扰能力强很多。
2.3 策略头的两种接入方式：冻结级联与端到端联合训练
把预测模块和策略模块接起来，常见的做法有两种。第一种是分两阶段：先训好视频预测模型，冻结权重，再在这个模型输出的隐特征上训练策略。好处是稳定，预测模块不会因为策略任务而忘掉原本的多样性；坏处是预测模块没有机会针对决策信号做调整，前面说的“目标脱节”依然存在。
Video Prediction Policy 2 更推荐的做法是端到端联合训练，让动作损失梯度一路流回动态模型。这样动态模型会逐渐学会把容量花在跟决策最相关的部分，预测任务和策略任务共享同一个优化方向。代价是训练难度明显上升，多路损失的平衡很考验实操经验，这部分放到下一节细说。
3. 训练细节：损失函数、采样策略与稳定训练的关键
3.1 损失函数组合：重建损失、感知损失与动作损失
我常用的损失组合是三个部分。重建损失保证解码器有稳定的监督，避免隐空间乱飘；感知损失让预测出来的特征在语义上贴近真实未来，这对策略特征非常关键；动作损失直接约束最终策略效果，整体可以简化成：
L = λ_r × L_recon + λ_f × L_feat + λ_a × L_action
实际跑过的初始权重一般是：λ_r=0.5，λ_f=1.0，λ_a=1.5。动作权重最大，是因为我希望策略确实能从预测信号里学到东西，而不是用与观测无关的捷径来蒙混过关。当然这个比例不是普适的，关键是要让每一项都有可观测的指标跟着，否则根本不知道是哪路损失把模型带偏了。
3.2 预测训练中的采样策略与 Teacher Forcing
视频预测训练里最容易掉进去的坑是 teacher forcing：每一步都用真实上一帧作为输入预测下一帧，模型训练时只学会了短期应付“几乎一样的输入”，运行时自己给自己喂帧，累积误差立刻失控。
解决方案是 scheduled sampling：训练初期大量使用真实帧，后期逐步增加模型生成帧的输入比例。另一个更稳的方案是在隐空间做 rollout，只在隐空间内循环预测几步，再统一解码做监督。这样预测模型从训练阶段就开始习惯与自己的误差共存，闭环性能会明显好于纯 teacher forcing 的版本。
3.3 稳定性问题：隐变量坍缩、NaN 与学习率
多模块联合训练之后，问题也会变多。最典型的是隐变量坍缩：动态模型学到把未来预测简化成复制当前状态，看起来 loss 没涨多少，但策略根本没拿到有效未来信息。
判断方法很简单：把预测隐变量在若干验证样本上可视化，如果不同动作对应的隐变量几乎重叠，说明已经坍缩。对策包括降低动态模型容量、给隐空间加 KL 散度约束、必要时改用普通回归而不是对抗式解码器。另外，联合训练经常出现 NaN，尤其是感知损失来自深层网络时。我一般会先冻结感知编码器底层，再配合梯度裁剪和 warmup 学习率，等训练循环稳定跑通后再逐步放开。
3.4 评估指标：别只盯着 FVD 和 SSIM
视频预测领域常用的评估指标是 FVD 和 SSIM，它们能衡量生成画面的分布和结构相似度，但决策任务真正要看的是成功率。我在实操中会把 FVD 当成“底线指标”，掉到合理区间后就不再为了提升它而调参，转而关注策略在环境里的表现。
有一次我把感知损失权重调大，FVD 涨了一点，但下游成功率明显提升，说明模型把预测能力用到了刀刃上。反过来，如果只为了把 FVD 刷低而把动态模型做得过于平滑，策略可能得到很干净但没有任何决策价值的未来。所以至少同时看两个维度：预测指标和闭环任务成功率，缺了哪个都容易做出错误判断。
4. 实验中真正影响效果的三个因素：预测范围、动作空间与数据质量
4.1 预测步数：不是越多越好
预测未来多少帧，是需要认真做消融的决策。太短，策略仍然只看到眼前几步，和普通行为克隆差别不大；太长，预测误差随步数指数累积，策略输入里的噪声占比越来越大，反而干扰判断。我在某模拟抓取任务上试过几组预测步数，结果大概如下：
| 预测步数 | 训练稳定性 | 下游任务成功率 | 备注 |
|---|---|---|---|
| 2 | 稳定 | 52% | 接近行为克隆水平 |
| 5 | 稳定 | 71% | 决策信号明显改善 |
| 8 | 中等 | 68% | 长程信息增加，但噪声上升 |
| 12 | 发散风险高 | 61% | 预测画面开始模糊 |
每组跑三个随机种子取平均后，结论是预测范围最好覆盖任务中的关键决策周期，而不是越长越好。比如抓取任务里“接近-抓取-提起”需要 8 步，预测 5 到 8 步就够；预测 12 步时模型要为更远的未来付出过多容量，反而伤害了当前动作的精度。
4.2 动作空间与预测误差的闭环放大
连续控制任务里，动作空间是实数向量，预测出来的未来状态有一点小误差，经过控制器放大后可能产生显著偏差；离散动作则对不同分支相对鲁棒。这也是为什么很多视频预测策略在某些像素型游戏环境表现不错，一到机械臂连续控制里却容易崩。
处理方式有几个：一是对动作做归一化和限幅，二是训练时给动作添加噪声来模拟执行误差，三是把策略输出改成高斯分布，用不确定性为不同维度加权。本质上都是把“预测误差”和“动作执行误差”结对建模，否则模型不知道到底该相信哪部分信号，梯度的方向就会混乱。
4.3 数据质量：多模态行为会让预测模型“和稀泥”
数据层面最容易忽略的是行为多模态问题。如果采集专家数据时存在多种有效做法，比如既可以绕过障碍物也可以推开障碍物，视频预测模型面对同一历史就会得到截然不同的未来，像素回归会把它们平均成又糊又保守的动作，策略也会变得犹豫。
我之前遇到的一个现象是：模型对障碍物的位置预测相对准确，但动作层一直学不到干脆利落的绕过动作，就是因为数据里混合了“绕”和“推”两种模式。解决方式是为每条轨迹引入一个隐变量来标记行为模式，让预测模块和策略模块先知道“自己正在执行哪一种策略”，再对每种模式分别建模。这个隐变量不需要强监督，通常用 KL 散度做正则即可。不处理多模态，策略上限会被数据本身锁死。
5. 落地中的常见问题与排错经验
5.1 生成画面模糊导致策略特征被污染
一个很常见的退化现象是：生成画面越来越模糊，而策略因为要吃这些帧，性能跟着下降。根因还是多模态未来被平均。模糊画面在决策任务里绝不是无害噪声，它会抹平边界和遮挡关系，而抓取、避障这类任务恰恰依赖这些信息。
我的经验是优先加感知损失，而不是急着堆判别器做对抗训练。GAN 类解码器能提升主观画质，但稳定性差、训练周期长，不如在特征空间直接匹配来得实在。如果任务本身不需要可视化调试，甚至可以去掉解码器，只保留隐空间动态和策略头，让模型彻底没有机会去学模糊生成，这也是最干净的方案。
5.2 预测推理延迟与控制周期失配
实际部署时，视频预测模型的一次推理时间很可能超过控制周期，预测出来的未来帧在真实世界里已经“过期”。我见过一个常见错误：把预测结果直接当成当前时刻的状态做控制，导致系统出现明显时延振荡。
正确做法是把预测时间对齐到控制时刻，也就是预测未来若干帧之后，再在对应的帧上输出动作，相当于把延迟本身建模进预测范围里。另一个工程手段是异步推理：主控制循环维持高频，预测模块低频更新并在后台迭代，策略输出时使用最新可用的预测结果。预测延迟不只是工程问题，它会影响策略的输入分布，所以必须纳入模型设计时一起考虑。
5.3 损失权重调整的经验法则：一次只动一个变量
最后分享一个我调试这类联合模型时收获最大的习惯：不要同时调多个损失权重。网络一大，梯度来源一多，同时调几个权重很容易出现“看起来 loss 降了但产物变差”的情况，而且你根本不知道是哪一路权重导致的。
我的固定流程是先关掉两个损失，只留动作损失让策略和动态模型跑通一条最短链路，确认模型具备基本学习能力后，再逐个打开感知损失和重建损失，每次只加一个，记录下游指标的变化。这样定位问题快很多。曾经有个项目我一直以为是解码器结构不对，折腾了两天，最后发现只是重建损失的权重放得太大，压过了动作损失，导致策略几乎学不到东西。一步步排查，比一上来就大改架构高效得多。
