后训练决策操作系统：MiMo-V2.6模型调优实战指南

1. 为什么“后训练”值得被当成一套决策系统来做

“MiMo-V2.6后训练：构建模型的决策操作系统”这个标题，第一次看到的时候我愣了一下——后训练我熟，决策操作系统这个说法倒是新鲜。但仔细琢磨之后发现，这个提法其实相当精准。大部分团队做后训练，做的是一堆散装动作：跑个SFT、调个偏好对齐、加几条规则约束、再补一轮拒绝采样，每一步单看都没问题，合在一起却互相打架。模型今天在这个场景表现好，明天换个输入就崩了，你根本说不清是哪个环节出的问题。

这就是缺少“操作系统”的典型症状。所谓决策操作系统，我的理解是：把模型在推理时“该怎么选、什么时候拒、什么情况下保守、什么情况下放开”这套判断逻辑，从零散的提示词和补丁里抽出来，变成后训练阶段就固化进权重里的稳定能力。它不是加一个外挂模块，而是在后训练过程中系统性地塑造模型的决策边界。

MiMo-V2.6这个版本号本身说明它是一个迭代中的基座，后训练才是真正决定它好不好用的阶段。基座模型像一块毛坯地，后训练是盖房子——你可以盖成仓库，也可以盖成精装住宅，关键看你有没有施工图纸。决策操作系统就是那张图纸。

这篇文章适合两类人看：一类是正在做后训练但感觉“越调越乱”的从业者，另一类是准备上手后训练、想少走弯路的同学。我会把整套思路拆成可复现的步骤，包括参数怎么定、数据怎么配、出了问题怎么查。所有具体数值和配置都是基于常见实践的合理推演，你拿去当起点完全够用。

2. 决策操作系统的整体设计与思路拆解

2.1 核心思路：把“判断”从“生成”里剥出来

传统后训练的思路是“让模型输出更好的答案”，决策操作系统的思路是“让模型先判断该用哪种策略，再输出答案”。这两者的差别很大。前者把所有场景压成一个分布去拟合，后者承认不同场景需要不同的行为模式。

我打个比方。前者像一个只会背标准答案的学生，遇到任何题都用同一套解法；后者像一个有经验的答题者，先看题型再决定用公式还是画图。后训练要做的，就是把“看题型”这个动作训练成条件反射。

具体落地时，我把决策拆成四个维度：置信度判断（我有多大把握）、风险判断（答错了代价多大）、信息充分性判断（我掌握的信息够不够）、表达策略判断（该详细说还是简短说）。这四个维度在后训练数据里都要有明确标注，模型才能学到。

2.2 为什么不用“纯偏好对齐”一条路走到黑

很多人一提到后训练就想到偏好对齐，觉得把人类偏好喂进去就完事了。我试过纯偏好对齐的路线，问题在于：偏好数据只能告诉模型“A比B好”，但没法告诉模型“在什么条件下A好、什么条件下B好”。同一个问题，用户要的是快速结论还是完整推导，偏好标注里往往混在一起，模型学出来就是一个平均化的中庸输出。

决策操作系统的做法是给偏好数据加上条件标签。同样是两个回答的对比，我额外标注“这个对比是在高时效需求下做的”还是“在需要严谨论证的场景下做的”。这样模型学到的不是绝对的好坏，而是条件化的策略选择。这个改动听起来小，实测下来对输出稳定性的提升非常明显。

2.3 三层架构：策略层、约束层、兜底层

整套系统我按三层来设计，每层对应不同的后训练手段。

策略层负责“怎么答”，用条件化偏好数据加SFT来塑造。这一层决定模型面对不同输入时的行为模式，是系统的核心。

约束层负责“不能怎么答”，用规则约束加负样本训练来实现。这一层是硬边界，比如不能编造不存在的信息、不能在信息不足时强行给结论。约束层不追求让模型变聪明，只追求让它不犯低级错误。

兜底层负责“拿不准怎么办”，用拒答样本和澄清样本训练。这一层最容易被忽略，但实际使用中价值极高——一个知道什么时候说“我需要更多信息”的模型，比一个什么都敢答的模型可靠得多。

三层之间是包含关系：策略层在最内，约束层包在外面，兜底层在最外层兜住所有异常。后训练的顺序也建议按这个顺序来，先塑策略，再加约束，最后补兜底。顺序反了会出现约束压制策略的情况，模型变得畏手畏脚。

2.4 方案选型的几个取舍

在工具和数据格式上我做了几个取舍，值得说一下理由。

数据格式上，我没有用单一的指令-回答对，而是用了带决策标签的结构化样本。每条样本除了输入输出，还带四个决策维度的标注。这样做的好处是训练时可以把决策判断作为辅助任务一起学，坏处是标注成本高。我的做法是先小规模人工标注一批高质量种子，再用模型辅助扩展，人工抽检修正。

训练顺序上，我放弃了“一次性混合训练”，改用分阶段训练加回放。先训策略层，再训约束层时混入一部分策略层数据做回放，防止灾难性遗忘。这个做法在多轮迭代中特别重要，我见过太多团队训完约束层发现模型变笨了，就是忘了回放。

评估方式上，我没有只看单一的综合分，而是按四个决策维度分别建评估集。综合分高但某一维度塌方的模型是不能上线的，因为实际使用中那个塌方的维度就是定时炸弹。

3. 核心细节解析与实操要点

3.1 决策标签怎么定义才不打架

决策标签是整个系统的地基，定义不清楚后面全乱。我的经验是每个维度只给三档，档位太多标注一致性会崩。

置信度分高、中、低三档。高档对应“有明确依据、可直接结论”，中档对应“有依据但存在多种合理解读”，低档对应“依据不足、需要说明不确定性”。这里的关键是给标注者一个可操作的判断标准，比如“能否在训练数据中找到三个以上同类支撑案例”，而不是让标注者凭感觉。

风险判断分常规、敏感、高危三档。常规是可以直接答的，敏感是需要加限定条件的，高危是必须拒答或转澄清的。这一档的边界要写进标注手册，用具体例子锚定，否则不同标注者的高危标准能差出十万八千里。

信息充分性分充分、部分、不足三档。充分的直接答，部分的答主干加说明缺口，不足的先澄清。这一档最容易和置信度混淆，我的区分办法是：信息充分性看“输入里有没有”，置信度看“模型会不会”。输入信息够但模型没把握，是置信度问题；输入信息不够但模型很自信，是信息充分性问题，而且这种最危险。

表达策略分详述、简述、结构化三档。这一档相对主观，标注一致性最难保证，我的做法是只在高价值样本上标注，普通样本用规则推断。

3.2 种子数据的构造方法

种子数据不在多而在准。我的做法是每个决策维度的每个档位组合，至少构造二十条高质量样本，覆盖典型场景。四个维度三档全组合是八十一种，但实际不需要全覆盖，重点覆盖高频组合和所有高危组合。

构造种子时我坚持一个原则：输入要真实，输出要克制。输入从真实使用日志里采样，保证分布真实；输出不追求华丽，只追求决策正确。一条置信度低、信息不足的样本，正确输出就是简短说明不确定性并请求补充信息，不需要长篇大论。

种子构造完要做一致性校验。我让两个标注者独立标同一批，计算各维度的一致率，低于百分之八十五的维度要重新定义标准。这个步骤不能省，我踩过的坑就是跳过校验直接扩展，结果扩展出来的几万条数据里标签噪声极大，训出来的模型决策摇摆。

3.3 约束层的负样本怎么造

约束层的核心是负样本，负样本造得好不好直接决定约束效果。我的负样本来源有三个。

第一个来源是真实错误日志。线上或测试中模型犯过的错，原样保留输入，把错误输出作为负样本，正确输出作为正样本，做成对比对。这类样本最有价值，因为它是真实分布的痛点。

第二个来源是对抗构造。针对每类约束，人工构造诱导性输入，比如信息不足但诱导模型下结论的、带错误前提的、要求越界内容的。这类样本用来补真实日志覆盖不到的长尾。

第三个来源是模型自生成加筛选。让当前模型对一批输入生成多个回答，用规则加人工筛出违规的作为负样本。这个方法效率高，但要注意筛选标准要严，宁可漏筛不可错筛，错筛的负样本会把正确行为也压制掉。

负样本和正样本的比例我一般控制在三比七左右。负样本太多模型会变得过度保守，太少约束不牢。这个比例不是死的，约束层训练后要用专门的越界测试集验证，根据越界率回调比例。

3.4 兜底层的拒答与澄清训练

兜底层最容易被做成“一刀切拒答”，这是大忌。用户问一个正常问题，模型因为拿不准就拒答，体验极差。我的做法是把兜底分成澄清优先、拒答兜底。

澄清样本的构造要点是：模型输出要包含“我理解你在问什么”加“我还需要什么信息”加“在补充信息前我先给一个初步方向”。这三段式结构能让用户感觉被认真对待，而不是被敷衍。训练时这类样本要给足权重，因为模型天然倾向于直接给答案而不是反问。

拒答样本只在高危档使用，而且拒答话术要具体，说明为什么不能答、可以转而提供什么。笼统的“我无法回答”是最差的话术，训练时要明确排除。

兜底层训练完一定要做误拒率测试。我一般用一批完全正常的输入去测，误拒率超过百分之五就要回调。这个指标比越界率更影响用户体验，但很多团队只盯越界率不看误拒率。

4. 实操过程与核心环节实现

4.1 阶段一：策略层SFT的完整配置

策略层用SFT打底，配置上我踩过不少坑，下面这套是调稳之后的方案。

学习率用余弦退火，峰值设在基座模型常规微调学习率的三分之一左右。为什么降这么多？因为策略层数据带条件标签，学习率太高模型会只记住标签模式而忽略输入内容，表现为“看标签答题”。我实测过，学习率降下来之后，模型对输入变化的敏感度明显提升。

批大小按显存尽量拉满，梯度累积补足有效批大小。这里有个细节：条件化样本的长度差异很大，高危样本往往很短，详述样本很长，混在一起训会有长度偏置。我的处理是按长度分桶，每个桶内打乱，桶间按比例采样，保证每个批次里长短样本都有。

训练轮次控制在两到三轮。策略层数据质量高的话两轮就够，三轮以上开始过拟合标签。判断过拟合的信号是：训练损失还在降，但按决策维度分开的验证集上，某一维度的准确率开始掉。看到这个信号立刻停。

损失函数上我加了一个辅助任务：让模型同时预测四个决策维度的标签。辅助损失权重设在主损失的十分之一左右。这个辅助任务的作用是逼模型在内部表征里显式编码决策信息，实测对下游的策略稳定性有帮助。权重不能太高，太高会喧宾夺主影响生成质量。

4.2 阶段二：约束层训练的回放策略

约束层训练最大的风险是灾难性遗忘，回放是解药。我的回放方案是：约束层数据与策略层数据按七比三混合，策略层数据从阶段一的训练集里分层采样，保证各决策维度都有覆盖。

约束层的学习率要比策略层再低一半。约束本质是压制某些行为，学习率高了会把相关但正确的行为一起压掉。我见过学习率没降导致模型连正常的确定性表述都不敢说的案例，排查了半天才发现是约束层训猛了。

约束层训练时监控两个指标：越界率和误拒率。越界率看约束效果，误拒率看副作用。两个指标要同时看，只降越界率不管误拒率，训出来的模型就是个惊弓之鸟。我的经验值是每轮训练后都测一遍，任何一项恶化超过阈值就回退学习率或减少约束样本比例。

约束层的对比损失我用的是带 margin 的 pairwise 形式，margin 设在中等偏小。margin 太大模型会把正负样本的差距拉得过开，泛化变差；太小约束不牢。这个值需要根据验证集上的越界率和误拒率曲线来定，没有万能值。

4.3 阶段三：兜底层的精细化训练

兜底层数据量不需要大，但精度要求最高。我的兜底层数据集构成大概是：澄清样本六成，拒答样本三成，正常样本一成做负向保护。

澄清样本训练时有个技巧：把“初步方向”部分单独做质量评估。很多模型学会了反问但初步方向给得很敷衍，用户感觉还是在被踢皮球。我的做法是对初步方向部分单独建评估标准，要求它必须包含至少一个可操作的信息点，不达标的样本不进训练集。

拒答样本训练要防止拒答泛化。具体做法是在拒答样本里混入大量“看似高危实则正常”的边界样本作为正样本，让模型学会区分真高危和假高危。这批边界样本的构造最费功夫，但效果最直接。

兜底层训练完做三件事：误拒率测试、澄清有效性人工评估、拒答话术合规检查。三件事都过才能进合并阶段。澄清有效性评估我一般抽一百条人工看，重点看反问是否切题、初步方向是否有用。

4.4 三阶段合并与最终校验

三个阶段分开训完之后要合并。合并方式我推荐模型参数插值加轻量微调，而不是简单取最后一个阶段的模型。插值比例按验证集表现调，一般兜底层权重稍高，因为兜底行为最需要稳定。

合并后做全量校验，校验集按四个决策维度分别建，每个维度至少两百条。校验不只看准确率，还要看决策一致性：同一输入换不同表述，模型的决策档位应该基本一致。一致性差的模型在实际使用中会表现得忽好忽坏，这是最伤用户信任的。

最后做一轮小规模人工盲评，把合并模型和基座模型、单阶段模型混在一起让评估者打分。盲评重点看“该保守时是否保守、该放开时是否放开”，这个主观感受是自动指标测不出来的，但恰恰是决策操作系统成没成的最终标准。

5. 常见问题与排查技巧实录

5.1 决策摇摆：同一问题两次回答策略不同

这是最常见的投诉。排查顺序我总结成三步。

第一步查温度参数。决策类任务温度不能高，我一般设在零点三以下。温度高了采样随机性大，决策档位会跳。这个最容易被忽略，因为大家习惯性觉得温度只影响文风。

第二步查训练数据里的矛盾样本。同一类输入在不同样本里标了不同决策档位，模型学出来就是摇摆的。排查方法是按输入聚类，看每个簇内的标签分布，分布散的簇要人工复核。

第三步查辅助任务权重。辅助任务权重太低，决策信息没学进去，模型靠主任务顺带学，稳定性不够。适当提高辅助权重能缓解，但别超过主损失的十分之二。

5.2 过度保守：该答的不答，动不动就澄清

过度保守一般是约束层或兜底层训过头了。先看误拒率，误拒率高的直接回调约束层学习率或减少负样本比例。

如果误拒率正常但澄清过多，问题在兜底层。检查澄清样本里是不是混入了本该直接答的样本，这类污染样本会让模型把正常问题也当信息不足处理。我的做法是给澄清样本加一个“信息缺口明确度”标注，缺口不明确的样本不进训练。

还有一种隐蔽情况：策略层数据里详述样本占比过高，模型学会了“凡事先铺陈”，表现出来像过度谨慎。查一下策略层数据的表达策略分布，详述占比别超过四成。

5.3 约束失效：越界内容还是能生成

约束失效先别急着加负样本，先查负样本质量。我遇到过负样本里混了标注错误的，把正确输出标成负样本，结果约束越训越弱。负样本必须人工抽检，抽检比例不低于百分之十。

负样本没问题的话，查约束层是不是训得太早。约束层在策略层没训稳的时候上，策略层后续还在变，约束就被冲掉了。顺序必须是策略层稳定后再上约束层。

还不行就查对抗样本覆盖度。真实日志加对抗构造如果覆盖不到某类越界，模型在那类上就是裸奔。按越界类型建一个覆盖清单，逐类补样本。

5.4 排查速查表

5.5 几个不写在文档里的实操心得

第一个心得：每阶段训完先别急着进下一阶段，留一天做人工抽检。自动指标会骗人，人工看五十条真实输出，很多问题一眼就出来了。我靠这个习惯拦下过好几次带病上线。

第二个心得：决策标签的标注手册要当成产品文档来维护。手册里每个档位至少配五个正例五个反例，标注者换人时先做校准测试，一致率达标才上岗。手册不维护，数据质量三个月内必崩。

第三个心得：评估集要独立于训练数据构造，而且要定期换血。用训练时见过的评估集测，分数虚高。我一般每轮迭代换三成评估样本，保持评估的新鲜度。

第四个心得：兜底层的澄清话术要按场景定制，不要一套话术打天下。技术类问题的澄清和技术类不同，前者问参数后者问意图，话术模板要分开维护。这个细节对体验的影响比想象中大。

6. 决策操作系统的迭代与扩展方向

整套系统跑通之后，我最大的体会是：后训练不是一次性工程，决策操作系统更需要持续迭代。基座模型升级、使用场景变化、用户预期漂移，任何一个变量动了，决策边界都要重新校准。

迭代时我建议保持一个习惯：每次只动一层。这次调策略层就只调策略层，约束层和兜底层保持不动，这样出问题能快速定位。同时动多层看起来效率高，实际上排查成本翻倍。

扩展方向上，我觉得有两个值得投入。一个是决策维度的细化，比如把风险判断从三档扩到带类型标签，区分事实风险、合规风险、时效风险，让约束更有针对性。另一个是跨场景的决策迁移，把在一个场景训好的决策模式迁移到相似场景，减少重复标注。这两个方向我都在小规模试，初步看有戏，但还没到能写结论的程度。

最后分享一个我一直在用的检查习惯：每次准备上线前，随机抽二十条真实输入，自己扮演用户读一遍模型的输出，问自己三个问题——这个回答让我信任吗、这个反问让我舒服吗、这个拒答让我理解吗。三个都是肯定，才敢放出去。自动指标再漂亮，过不了这一关都是白搭。