1. 从"自我改进"这个词说起：MiMo-V2.6 到底想解决什么
第一次看到"自我改进的强化学习规模化"这个说法，我脑子里冒出来的第一个问题是：自我改进和自我训练有什么区别？毕竟这两年开源大模型卷得厉害，几乎每家都在讲自己的后训练流程有多强，但真正把"自我改进"当成核心命题来做的，其实不多。MiMo-V2.6 这份技术报告最值得琢磨的地方，不是它又刷了多少榜单，而是它试图回答一个更底层的问题——当强化学习规模上去之后，模型能不能在训练过程中自己产生更高质量的反馈信号，从而减少对人类标注的依赖。
这件事的意义在哪儿？做过 RLHF 或者 agentic RL 的人都知道，强化学习最贵的从来不是算力，而是反馈信号。人类偏好标注贵、慢、还容易不一致；用奖励模型替代吧，奖励模型本身又会被策略模型"钻空子"，也就是常说的 reward hacking。MiMo-V2.6 的思路是把"自我改进"嵌进 RL 的循环里，让模型在 MoE 架构下通过多轮迭代，逐步用自己生成的高质量轨迹去反哺训练。听起来有点像自举，但关键在于它把规模化和稳定性这两件事同时往前推了一步。
这篇博文我不打算复述技术报告的目录，而是按一个实际做后训练的人会关心的顺序来拆：先讲清楚它的整体架构和 MoE 在其中的角色，再讲强化学习规模化到底难在哪、MiMo-V2.6 是怎么处理的，然后是 agentic RL 这条线怎么落地，最后聊聊因果强化学习（CRL）这类工具在其中的位置，以及我自己在复现类似流程时踩过的坑。适合已经对 RLHF、PPO、GRPO 这些概念有基本了解，想进一步搞清楚"规模化自我改进"到底怎么做的读者。如果你只是想知道这个模型跑分多少，那可能这篇不太适合你。
2. MoE 架构不是噱头：它决定了强化学习能不能"跑得动"
2.1 为什么大模型做 RL 一定要考虑 MoE
先讲一个很多人忽略的事实：强化学习训练阶段的开销结构和预训练完全不一样。预训练是纯前向加反向，吞吐量可以靠并行堆上去；但 RL 训练里，采样（rollout）和更新是交替的，采样阶段要跑完整的推理，更新阶段又要跑反向。如果模型是稠密的，参数量一上去，采样成本会直接把整个训练拖垮。这就是为什么现在做大规模 RL 的模型，几乎清一色往 MoE 走。
MoE（Mixture of Experts）的核心是稀疏激活：每个 token 只路由到少数几个专家，总参数量可以很大，但单次前向的实际计算量只跟激活的专家数相关。对 RL 来说，这意味着采样阶段的单步成本可控，你才能把 rollout 的 batch size 做大、把迭代轮数做多。MiMo-V2.6 把 MoE 作为底座，本质上是在为"规模化"腾出算力预算——省下来的算力不是拿去堆参数，而是拿去多跑几轮自我改进的迭代。
这里有个容易踩的坑：MoE 在 RL 训练里的路由稳定性比预训练更敏感。预训练时数据分布相对平稳，路由器的负载均衡比较好维持；但 RL 训练中策略在快速变化，某些专家可能突然被过度激活，另一些则被冷落，导致负载倾斜。一旦倾斜严重，训练效率会断崖式下跌。所以做 MoE + RL 的时候，辅助负载均衡损失（auxiliary load balancing loss）的系数要重新调，不能直接沿用预训练的值。我的经验是，RL 阶段这个系数通常要比预训练时略大一点，同时监控每个专家的激活频率分布，一旦出现长尾就及时干预。
2.2 稀疏激活与自我改进循环的耦合关系
自我改进这件事，说白了就是模型生成数据、数据再训练模型。这个循环要转起来，前提是每一轮生成的数据质量要够高、多样性要够。MoE 在这里有个天然优势：不同专家在训练中会分化出不同的能力倾向，有的擅长推理链，有的擅长代码，有的擅长长文本组织。当模型做自我改进采样时，如果路由机制能让不同任务激活不同的专家组合，生成的数据天然就带有多样性，不容易塌缩到单一模式。
但反过来，如果路由塌缩了——也就是不管什么输入都激活同一批专家——那自我改进就会陷入自我强化的死循环，模型只会生成自己最擅长的那一类内容，多样性迅速消失。这是 MoE 做自我改进时最隐蔽的风险，因为它不像 loss 爆炸那样显眼，而是慢慢地把模型"养废"。MiMo-V2.6 在报告里强调的迭代式自我改进，我理解它在工程上一定做了路由多样性的监控和约束，否则规模越大塌缩越快。
实操层面，如果你要复现类似的流程，建议在每一轮自我改进之后，抽样检查生成数据的任务类型分布和专家激活分布，两者要能对上。如果发现某类任务的数据占比异常高，而对应专家激活也异常集中，那就是塌缩的前兆，需要调整采样温度或者引入任务重加权。
2.3 参数规模、激活比例与训练预算的三角权衡
MoE 的另一个关键参数是激活比例，也就是每个 token 激活多少专家。激活比例高，单步计算贵但表达能力强；激活比例低，省算力但可能欠拟合。在 RL 场景下，这个权衡还要叠加一个维度：采样预算和更新预算的比例。采样太贵，迭代轮数就少，自我改进转不了几圈；采样太便宜，生成的数据质量又不够。
我自己的做法是先固定一个总训练预算，然后按经验把采样和更新的算力分配定在大概 6:4 到 7:3 之间，再在这个约束下去调激活比例。MiMo-V2.6 具体怎么分配的，报告里不一定写得很细，但你可以用这个框架去反推它的设计意图。一般来说，越是强调自我改进和多轮迭代的方案，采样预算占比会越高，因为它需要大量高质量 rollout 来支撑下一轮训练。
3. 强化学习规模化：难点不在算法，在工程稳定性
3.1 规模化 RL 的三个典型崩点
做小规模 RL 实验的时候，很多问题不会暴露；一旦规模上去，三个崩点几乎必然出现。第一个是奖励信号的方差问题：batch 越大，奖励的分布越宽，优势估计（advantage estimation）的噪声就越大，策略更新容易震荡。第二个是采样和更新的数据陈旧度（staleness）：大规模采样往往要异步进行，等一批数据采完，策略已经更新了好几版，用旧策略的数据去更新新策略，off-policy 程度一高，训练就不稳。第三个是数值精度：大规模分布式训练里，梯度累积、混合精度、通信压缩这些环节任何一个出问题，都会在几千步之后突然表现为 loss 尖刺。
MiMo-V2.6 讲"规模化"，我判断它在这三块上都有针对性设计。奖励方差这块，常见做法是对优势做归一化或者用更稳健的基线；陈旧度这块，要么控制异步程度，要么用重要性采样做修正；数值这块，关键是监控梯度范数和各层的更新幅度，设置合理的裁剪阈值。这些不是新东西，但能不能在大规模下稳定跑住，靠的是工程细节的堆叠，而不是某个单点算法。
3.2 自我改进循环里的"数据回炉"策略
自我改进的核心动作是"数据回炉"：把模型自己生成的轨迹，经过筛选或打分之后，重新放进训练集。这里最关键的问题是筛选标准。如果筛选太松，低质量数据会污染训练；筛选太严，数据量不够，循环转不起来。常见的折中是分层筛选：先用一个宽松的阈值过滤掉明显崩坏的样本，再按质量分档，高质量样本给高权重，中等质量样本给低权重，低质量直接丢弃。
我在做类似流程时发现一个反直觉的现象：完全用最高质量的自我生成数据去训练，效果反而不如混入一定比例的中等质量数据。原因是最高质量的样本往往集中在模型已经擅长的任务上，多样性差；中等质量样本里反而藏着一些模型"半懂不懂"的边界案例，对提升泛化更有价值。所以数据回炉的时候，质量分层的比例要调，不能一刀切只要最好的。
提示：自我改进循环里，每一轮都要留一部分"锚点数据"，也就是固定不变的、来自人类标注或高可信来源的样本。它的作用是防止模型在多轮自我改进后彻底偏离原始目标。锚点数据的比例不用高，5% 到 10% 通常就够，但绝对不能省。
3.3 从 PPO 到更稳的策略优化：算法选型的现实考量
现在做大规模 RL，PPO 依然是主流，但它的调参成本很高，尤其是 KL 惩罚系数和裁剪范围这两个超参，换一个任务就得重调。MiMo-V2.6 这类工作通常会在这上面做改进，比如用更自适应的 KL 控制，或者干脆转向 GRPO 这类不需要 critic 的方法来省显存和算力。
GRPO 的思路是对同一 prompt 采样多个回答，用组内相对优势替代 critic 估计的优势。好处是省掉了 value network，显存和算力都省；坏处是组内采样数要够大，否则优势估计噪声大。在 MoE 模型上，GRPO 还有个额外好处：不需要为 critic 单独维护一套 MoE 结构，工程复杂度低不少。如果你的算力预算有限，又想跑大规模 RL，GRPO 或者它的变体是更现实的选择。
但要注意，GRPO 对采样质量很敏感。如果同一 prompt 的多个回答质量都差不多，组内优势就接近零，梯度信号很弱。所以用 GRPO 的时候，采样温度要适当调高，保证组内回答有足够的区分度。这个温度值没有通用解，得根据任务和模型实测。
4. Agentic RL：把强化学习从"对话"推向"做事"
4.1 Agent 场景下奖励设计的根本变化
传统 RLHF 的奖励是对话级别的：一个回答好不好，人类打个分。但 agentic RL 里，模型要执行多步动作、调用工具、和环境交互，奖励变成轨迹级别的，而且往往是稀疏的——只有任务最终成功或失败，中间步骤没有明确反馈。这就带来两个问题：信用分配（credit assignment）和探索效率。
信用分配是说，一条长轨迹最后失败了，到底是哪一步的错？如果每步都给同样的惩罚，模型学不到东西。常见做法是用过程奖励模型（PRM）给中间步骤打分，或者用蒙特卡洛回溯把最终奖励分摊到各步。MiMo-V2.6 在 agentic 方向上的能力，我判断它一定在过程奖励或者轨迹级优势估计上做了工作，否则多步任务的训练效率上不去。
探索效率是说，agent 场景的动作空间巨大，随机探索几乎不可能碰到成功轨迹。解决办法通常是先用专家演示做行为克隆（behavior cloning）热启动，再上 RL 微调；或者在 RL 里加入内在奖励（intrinsic reward）鼓励探索新状态。这两条路各有代价：行为克隆受限于演示数据的覆盖范围，内在奖励容易导致"为了探索而探索"的无效行为。
4.2 工具调用与多轮交互中的奖励稀疏问题
工具调用是 agentic RL 里最典型的稀疏奖励场景。模型要决定调哪个工具、传什么参数、怎么解析返回结果，任何一步错了任务就失败。如果只在最后给奖励，模型很难学会正确的调用序列。
一个实用的技巧是奖励塑形（reward shaping）：把最终奖励拆解成若干可观测的中间信号。比如工具调用成功返回给一个小奖励，参数格式正确给一个小奖励，最终任务完成给大奖励。这样梯度信号密集很多，训练收敛快。但奖励塑形有个经典陷阱：如果塑形奖励设计不当，模型会去刷中间奖励而不完成最终任务。所以塑形奖励的权重不能太高，通常控制在最终奖励的 10% 到 20% 之间，并且要监控中间奖励和最终成功率的相关性。
多轮交互还涉及上下文管理。agent 的轨迹可能很长，超出模型上下文窗口后就得做截断或摘要。截断会丢失信息，摘要会引入误差，两者都会影响训练信号的质量。我的经验是，在 RL 训练阶段尽量保证轨迹完整，如果实在超长，优先保留最近的动作和最初的指令，中间部分做压缩。这个策略不是最优，但在工程上最省事。
4.3 多智能体与路径规划类任务的 RL 落地参考
热词里出现了"多 AGV 路径规划强化学习""gazebo 强化学习"这类词，说明 agentic RL 的应用场景已经从纯文本扩展到了具身和仿真领域。这类任务和文本 agent 的 RL 有共通之处，也有明显差异。
共通之处是都面临稀疏奖励和信用分配问题。差异在于，仿真环境里的状态是连续的、高维的，动作空间可能是连续的，而且环境本身有物理约束。在 Gazebo 这类仿真器里做 RL，最大的坑是仿真速度和训练速度的匹配：仿真太慢，采样效率低；仿真加速又可能引入物理不准确，导致策略在真机上失效。常见的折中是域随机化（domain randomization），在仿真里随机化物理参数，让策略对参数变化鲁棒，从而更容易迁移。
多 AGV 路径规划则更强调多智能体协作。这里的关键是奖励设计要平衡个体和全局：只奖励个体，智能体可能互相挡路；只奖励全局，个体缺乏学习信号。通常用混合奖励，个体奖励负责引导基本行为，全局奖励负责协调。这套思路和文本多 agent 协作其实是相通的，只是状态和动作的表示不同。
5. 因果强化学习（CRL）：把因果推断嵌进 RL 流程的价值与边界
5.1 CRL 想解决的核心问题：混淆与反事实
因果强化学习这两年被提得越来越多，核心动机是标准 RL 在处理混淆变量（confounder）时很脆弱。举个简单例子：在推荐场景里，用户点击某内容可能不是因为内容好，而是因为它是热门。如果 RL 把这个相关性当成因果性去优化，就会一直推热门，陷入反馈循环。CRL 的做法是引入因果推断工具，把"干预"和"观察"区分开，估计反事实结果，从而学到更稳健的策略。
把因果推断嵌进 RL 流程，关键能力包括：因果图建模（明确变量之间的因果结构）、干预估计（估计某个动作的真实因果效应）、反事实推理（估计"如果当时做了另一个动作会怎样"）。这三件事在理论上很漂亮，但工程落地有门槛，因为因果图往往需要领域知识，反事实估计又依赖强假设。
5.2 CRL 在自我改进循环中的潜在位置
回到 MiMo-V2.6 的自我改进主题，CRL 能扮演什么角色？我的理解是，它可以用来提升自我生成数据的质量判断。标准做法是用奖励模型给数据打分，但奖励模型学的是相关性，可能被表面特征欺骗。如果引入因果视角，判断一条轨迹"好"是因为它真的导致了任务成功，还是因为某些混淆因素，就能筛掉更多伪高质量数据。
不过要泼一盆冷水：CRL 目前在大规模语言模型 RL 里的落地案例还很少，主要卡在因果图的构建和计算成本上。语言任务的因果结构很难显式建模，强行套用可能得不偿失。所以我的判断是，CRL 在这个阶段更多是提供思路启发，而不是直接可用的工程方案。真正落地可能要先从结构化的子任务（比如工具调用序列）入手，那里因果结构相对清晰。
5.3 离线 RL（IQL 等）与在线 RL 的取舍
热词里还有"iql 离线强化学习""基于模型强化学习"这些，说明离线 RL 也是相关方向。离线 RL 的价值在于可以利用已有的大量轨迹数据，不需要在线交互，成本低。IQL（Implicit Q-Learning）是其中比较有代表性的方法，它通过 expectile 回归避免查询分布外动作的 Q 值，从而在离线数据上更稳。
但离线 RL 有个根本限制：它学到的策略不会超过数据覆盖的范围。如果离线数据里没有某种成功模式，策略就学不会。所以在自我改进场景里，离线 RL 更适合做冷启动或者数据回炉的筛选，而不是完全替代在线 RL。实践中常见的组合是：离线 RL 先在有标注的数据上训一个不错的初始策略，再上在线 RL 做精细优化。这个组合比纯在线 RL 省算力，也比纯离线 RL 上限高。
6. 复现这类流程时，我自己踩过的坑
6.1 奖励模型和策略模型的"共谋"
做自我改进最容易翻车的地方，是奖励模型和策略模型一起"作弊"。策略模型学会了奖励模型的偏好，生成一堆奖励分很高但实际没用的内容；奖励模型因为一直在看策略模型的输出，也逐渐把这些内容当成好的。两边互相强化，最后训练出来的模型在自动评测上分数很高，人工一看全是废话。
防这个坑的办法有几个：一是奖励模型要定期用新的人类标注数据重新校准，不能一直用旧的；二是引入多个奖励模型做集成，取平均或最小值，降低单点偏好被利用的风险；三是保留一个独立的、不参与训练的评测集，定期人工抽检。第三条最费人力，但最有效，我建议至少每周抽检一次。
6.2 采样温度、KL 系数与多样性的联动
这三个参数是联动的，单独调任何一个都容易出问题。采样温度高，多样性好但质量下降；KL 系数大，策略不敢偏离参考模型，多样性差；KL 系数小，策略跑飞，质量崩。我的经验是先固定 KL 系数在一个保守值，把采样温度调到质量可接受的上限，然后再慢慢放松 KL 系数，观察多样性指标。整个过程要盯着生成数据的去重率和任务类型分布，一旦去重率飙升（说明模式塌缩），就说明参数调过头了。
6.3 分布式训练中的通信与检查点陷阱
大规模 RL 训练的检查点（checkpoint）策略和预训练不一样。预训练可以很久存一次，因为训练稳定；RL 训练波动大，可能这一版策略很好，下一版就崩了。所以检查点要存得勤，而且不能只存最新的，要保留最近若干个版本，方便回滚。我见过有人只存最新版，结果训练崩了之后没有好的回滚点，只能从头再来，几周的算力打水漂。
通信方面，MoE 的 all-to-all 通信是瓶颈。专家并行度越高，通信开销越大。调优的时候要监控通信和计算的重叠率，如果通信占比过高，要么降低专家并行度，要么用更高效的通信原语。这块没有银弹，只能实测调。
7. 我对 MiMo-V2.6 这类工作的整体判断
把自我改进和强化学习规模化放在一起做，方向是对的，因为这两件事本质上是同一个问题的两面：规模化需要更便宜的反馈信号，自我改进正好能提供。但这条路的风险也很明确——自我改进的循环一旦失控，模型会以很快的速度偏离目标，而且偏离过程往往是渐进的，不容易被单点指标发现。
我个人在实际操作中的体会是，做这类工作，监控体系比算法本身更重要。你需要一套能同时看奖励分布、数据多样性、专家激活、梯度范数、任务成功率的仪表盘，任何一个指标异常都能及时报警。算法可以试错，但监控缺失会让你连错在哪都不知道。
另外，别被"自我改进"这个词迷惑，以为可以完全不要人类。至少在目前阶段，人类标注在锚点数据和奖励模型校准这两个环节还是不可替代的。自我改进能减少对人类标注的依赖，但减不到零。谁要是宣称能完全去掉人类反馈，要么是定义上玩了文字游戏，要么是没真正跑过大规模训练。
最后分享一个小技巧：做多轮自我改进的时候，每一轮都存一份"冻结评测"的结果，不要只看最终轮。因为自我改进的收益往往在前几轮最大，后面边际递减甚至负收益。知道收益拐点在哪，比盲目多跑几轮更有价值。这个拐点因任务而异，只能靠实测找，但找到之后能省下大量算力。
