知识蒸馏实战：从温度系数到软标签，把大模型凝练成小模型

1. 项目概述

1.1 知识蒸馏到底是什么

做模型部署的同行，对知识蒸馏（Knowledge Distillation）这个名字应该不陌生。很多人第一次接触它，脑海里冒出来的画面是“大模型当老师，小模型当学生”，这个比喻虽然通俗，但足够准确。它解决的核心问题是：大模型效果虽然好，但参数量动辄几亿甚至几十亿，推理延时高、显存占用大，根本没有办法直接塞进手机或者边缘设备里跑。而小模型虽然反馈极快、部署轻便，但训出来效果总差那么一口气。

知识蒸馏的思路就是——让已经训练好的大模型（教师模型）在推理时同时输出预测概率和“思考过程”，用这些软化的监督信号去训练小模型（学生模型），从而把大模型绝大部分效果迁移到小模型里。这个技术在工业界落地极广，团队里同学说的“大模型凝练成小模型”，本质就是这个流程。我最早接触知识蒸馏，是在做一个图像分类项目时，线上模型因为请求量和延迟指标压不下来，被迫考虑更换模型架构，后来实测通过蒸馏方案在不换结构的前提下，仅用了原来约 12% 的参数量，就保住了原模型近 97% 的线上精度。

这篇文章适合三类人：一是做深度学习推理部署的工程同学，需要把模型塞进有限资源环境；二是对模型压缩感兴趣的算法同学，想入门知识蒸馏这套方法论；三是好奇大模型能力迁移原理的进阶学习者。读完你会弄清楚：蒸馏为什么有效、具体怎么训练、温度参数怎么调、哪些坑是踩上去才会懂的。

1.2 我提炼出的核心关键词

知识蒸馏的完整链路其实涉及到多个关键词：教师模型、学生模型、软标签、温度系数、KL 散度、特征蒸馏、自蒸馏、在线蒸馏。整篇文章都会围绕这些词展开，不会绕开任何一个核心环节。我会先讲清楚思想原点，再给出实操步骤，然后用真实踩过的坑告诉你哪些地方最容易翻车，最后聊聊蒸馏技术现在还能怎么玩。如果你想直接抄一套能用的训练流程，跳到第 3 部分就行，前面的原理是为后面服务的。

2. 蒸馏思想的核心原理

2.1 从硬标签到软标签，老师在传递什么

传统监督学习里，训练一个分类模型，我们用的是硬标签：一张猫的图片，标签就是“猫”这个类别，用 one-hot 编码表示成[0, 1, 0, 0]。模型学习的结果就是尽量把猫这个类别的输出概率拉向 1。这个信号的缺点是信息量很少，因为它没有告诉模型：这张图里的动物和其他类别之间有什么相似性？比如“猫”和“老虎”的相似度，要远高于“猫”和“公交车”的相似度，但硬标签把这一层关系全部抹平了。

教师模型输出的 softmax 概率分布则完全不同。同样是那张猫图，大模型输出的可能是[0.7, 0.2, 0.05, 0.03...]——它认为这张图有 70% 是猫，20% 是老虎，5% 是豹子。这个软分布里就携带了“类别相似度”这个关键信息，而这种知识是硬标签完全没法表达的。简单说，硬标签只告诉你“正确答案是什么”，软标签还额外告诉你“错误答案错得有多远、错向哪个方向”。

这个差别在数学上对应到 KL 散度里，Kullback-Leibler 散度可以衡量两个概率分布之间的差异程度。蒸馏训练的目标，就是让学生模型的输出分布尽量贴近教师模型的输出分布。最终 loss 通常由两部分组成：一部分是学生模型和硬标签的交叉熵（保证学到的内容仍然正确），另一部分是学生模型分布和教师模型分布的 KL 散度（保证学生学到了教师“思考方式”）。两部分的配比权重就是超参 alpha，一般设成 0.5 到 0.9 给 KL 那边更大权重，因为软标签才是蒸馏区别于普通训练的关键。

2.2 温度系数 T 到底在控制什么

蒸馏论文里有个经典公式：softmax(z_i / T)，其中z_i是模型的 logits 输出，T 就是温度系数。T=1 时就是普通 softmax；T 越大，输出的概率分布就越平滑，各类别之间的差异被拉平，小概率类别不再是趋近于 0。为什么要“拉平”？因为小概率类别的微小差异，恰恰包含了教师模型的“思考痕迹”。

打个比方，老师批改试卷时，如果只看对错（硬标签），学生知道正确答案就够了；但如果老师不仅判对错，还写评语说“你这一步思路接近正确答案，只是某处算错了”，学生就能学到更多。温度 T 就是评语的详细程度：T 大，评语写得细，学生能看到类别之间的相似关系和决策边界；T 小，评语写得很简略，接近硬标签的效果。但 T 太大也有副作用——分布过度平滑时，所有类别概率都趋近于相等，噪声会淹没真正的知识。

温度参数的选择直接影响最终效果。我常用 T=3 到 T=8 做初筛，因为在这个范围内教师模型的软分布能保留足够多的类别关系信息。值得注意的是，教师模型是先用 T=1 训练好的，蒸馏时用 T>1 让它的输出变软，学生模型则在同样的高温下学习、并在最后也保持同温度评估。训练完毕部署时，学生模型重新用 T=1 做推理，拿到的是正常概率输出。

2.3 为什么小模型真能继承大模型的“智慧”

有个在不少项目里反复验证过的现象：直接用相同数据训练的小模型，效果总是比不上同预算下被蒸馏出来的同构小模型。原因并不玄学——知识蒸馏相当于让学生的学习和教师的学习“解耦”了。学生不需要重新摸索原始数据里复杂的决策边界，而是直接站在教师已经收敛的高质量特征空间里，按教师的引导去刻画更简单的映射关系。

常规训练小模型时，它的容量有限，拟合噪声和复杂边界的难度大，容易陷入局部最优。蒸馏给了它“模仿目标”，这个目标本身是高度平滑的，决策边界被教师模型“磨”得不再锋利，学生拟合这个平滑目标的难度远低于直接拟合原始数据分布。换句话说，学生不需要考第一名，它只需要“像老师那样答题”，而这个模仿目标已经帮它屏蔽掉了很多不必要的细节。这便是小模型能继承大模型智慧的数学直觉。

3. 实操全流程与参数解析

3.1 整体工程链路设计

知识蒸馏的工程落地流程，本质上是一条标准的训练+评估链路，我按下述顺序推进。这份清单是以一个某图像分类模拟项目为例展开说明的，你也可以直接平移到文本分类、目标检测或推荐模型场景。

流程分为六步：

1. 训练或获取一个高精度的教师模型，这一步可以使用现成的大模型权重，也可以自己用全部训练数据跑一个充分收敛的模型；
2. 确定学生模型结构，通常是参数量小一个数量级的轻量网络或者精简版结构；
3. 设计损失函数，一般是“交叉熵 + KL 散度”的组合，设置好权重 alpha 和温度 T；
4. 加载训练数据，数据需要同时送入教师模型和学生模型，教师模型置于 eval 模式，关闭梯度更新，只做前向推理，产出软标签；
5. 学生模型执行常规训练流程，但每个 step 的 loss 同时基于硬标签和教师软标签计算；
6. 训练结束后，学生模型用 T=1 在验证集上评估，对比基线效果。

这里要特别提醒一个细节：教师模型的参数在整个蒸馏过程中必须是冻结状态。我有一次在实验里忘了设置requires_grad=False，导致教师模型也被反向传播更新，整个蒸馏基准被破坏，出现了一批指标反复波动的诡异实验记录。这是个很低级的坑，但压力大的时候真的容易忽略。

3.2 损失函数的具体设计与实现

核心损失函数定义如下：

L = α * CE(y_student, y_hard) + β * KL(softmax(z_student / T), softmax(z_teacher / T)) * T^2

其中 α 和 β 的取值一般是 α + β = 1，我习惯设 α=0.1、β=0.9，因为教师模型提供的信息量远高于硬标签，给予更高权重是合理的。前面乘的 T^2 是梯度补偿系数，目的是抹平温度放大产生的梯度缩放效应，保证不同温度下的损失量级可比。不理解这个补偿项的读者可以这么记：如果不乘 T^2，温度升高后 KL 散度梯度会按比例缩小，训练实际步长被压缩，收敛速度会变慢。

以下是 PyTorch 风格的关键训练代码框架。注意这里用了两个辅助函数：kl_div_loss负责计算学生与教师的分布差异，compute_soft_targets负责用教师模型批量产软标签。

import torch import torch.nn as nn import torch.nn.functional as F def kl_div_loss(student_logits, teacher_logits, T): # 将 logits 按温度软化，并计算 KL 散度 student_soft = F.log_softmax(student_logits / T, dim=-1) teacher_soft = F.softmax(teacher_logits / T, dim=-1) return F.kl_div(student_soft, teacher_soft, reduction="batchmean") * (T ** 2) def compute_soft_targets(teacher_model, dataloader, T, device): teacher_model.eval() soft_targets = [] with torch.no_grad(): for batch in dataloader: batch = batch.to(device) logits = teacher_model(batch) probs = F.softmax(logits / T, dim=-1) soft_targets.append(probs.cpu()) return torch.cat(soft_targets, dim=0) # 训练循环内核心代码 for batch_idx, (inputs, labels) in enumerate(train_loader): inputs, labels = inputs.to(device), labels.to(device) teacher_logits = teacher_model(inputs) # 教师模型只做前向，不更新梯度 student_logits = student_model(inputs) loss_ce = F.cross_entropy(student_logits, labels) loss_kd = kl_div_loss(student_logits, teacher_logits, T=4.0) loss = 0.1 * loss_ce + 0.9 * loss_kd optimizer.zero_grad() loss.backward() optimizer.step()

这段代码有个值得注意的细节：batchmean这个 reduction 方式等价于对 batch 内所有位置的 KL 散度取均值，而不是默认的sum。如果你不小心用了sum，损失量级会随着 batch size 变化剧烈，调参时会产生很多困惑。

3.3 关键超参配置经验

温度 T 与损失权重 α/β 是最核心的两个超参，实际上它们彼此关联。温度 T 决定软标签的“平滑程度”，权重β决定模型对“平滑程度”的信任程度。我的经验是：T 越大，β 越应该接近 1；T 较小时，α 可以相对提高，因为软标签与硬标签的差异变小，交叉熵保留硬标签的监督作用会更明显。

在一次图像分类实验中，我用某公开数据集（约 100 类）做过温度扫描，数据整理如下：

从中能看出一个明确规律：蒸馏的收益不是越高越好，有个甜点区。一般来说 T 在 4~8 之间对分类任务是合理的起点，然后根据数据集的类别数量做微调——类别越多，T 可以适当调大，因为类间关系的细节信息更丰富。

还有一个相对隐晦但很重要的参数是 batch size。因为蒸馏需要同时前向教师和学生两个模型，显存开销翻倍，很多人会把 batch size 减半。实际上如果显存吃紧，更推荐用梯度累积：将物理 batch size 缩小到原来的 1/4，使用 4 个 step 累积梯度再更新参数，既能稳定训练，又避免了 batch size 太小导致 BN 统计不准的问题。

3.4 学生模型结构选型

学生模型的结构可以直接选一个参数量约为教师 1/10 的轻量网络，也可以在原结构基础上做通道裁剪。不要盲目选择容量太小的模型，因为如果学生结构太“瘦”，教师的知识它根本“装不下”，最终精度会掉得很厉害。我的判断标准是：先计算教师模型最后的特征维度，然后确保学生模型的倒数第二层特征维度至少大于等于教师特征维度的一半，否则蒸馏效果会有明显折扣。

举个例子，某教师模型的倒数第二层输出是 512 维，那么学生模型的对应特征维度最好不低于 256。这个经验来自一次失败的实验：当时我想把学生模型的宽度降得特别狠，特征维度只有 64，结果软标签学习得特别差，后期无论如何调整 T 参数，精度就是卡在 85% 上不去。后来把宽度扩大一倍，其他条件不变，精度直接跳到 89% 以上。特征维度不够，意味着学生模型的“表达能力”天然受限，它连教师模型中间层知识的承载空间都不足，硬压没有意义。

另外可以尝试在损失函数里加入中间层特征对齐的辅助损失，即所谓特征蒸馏。做法是取出教师模型的中间层输出，用一层 1x1 卷积把学生模型的中间特征投影到相同维度，再计算两者的 MSE 距离。这个辅助 loss 能让学生模型在浅层就学到与教师接近的表示，对应到最终性能上通常有 0.3~1.0 个百分点的提升。但它的调参成本略高，因为需要额外维护一个投影层，并多配一个损失权重，建议当你对基础版蒸馏的指标还不满意时再尝试这个方案。

4. 常见问题与排查技巧实录

4.1 温度调低但效果反而更差，问题出在哪

有次我调一个 3 分类的文本情感判断任务，把温度调低到 2，想着让软标签更接近硬标签，减少噪声，结果验证集 F1 反而掉了近 2 个百分点。原因在于：类别少、任务简单的场景下，教师模型的软标签分布其实非常尖锐——主体类概率接近 0.95，其余类别几乎趋近于 0。此时低温运行，软标签几乎退化成了硬标签的变体，学生模型完全没有从教师那获得额外指导。

解决方式是提高温度到 8~10，让教师模型把那几个小类别的微弱概率差异放大。非主类的微小概率看似噪声，但那里恰好记录了教师对边界样本的判断偏好，这是普通训练给不了的监督信号。所以调参时不能只看任务复杂度，还要观察教师模型原始输出分布的尖锐程度。可以先跑一个 batch 的教师 logits，统计各类别概率的分布形态，再做温度选择。

4.2 训练 loss 降了，但学生评估效果上不去

如果你看到蒸馏 loss 稳定下降，但学生模型在验证集上的精度没有明显增长，大概率是“蒸馏训练只学到了教师模型的表面输出，没有真正学到决策逻辑”。这种情况通常跟软标签的权重占比有关。如果 β 太低，学生模型主要靠硬标签学习，蒸馏就没有发挥真正作用，效果跟普通训练差别不大；如果 β 太高，学生模型又被局限在教师的输出模式里，无法利用硬标签的强约束去规避教师模型的偶发错误。

另一个容易被忽略的原因是数据增强策略不一致。教师和学生的输入必须经过完全同一种数据增强管线，这能保证教师产出的软标签与学生输入在语义上对齐。我有一次对比实验，教师模型用的输入尺寸是 224x224，学生模型的输入压缩到了 192x192，结果学生精度明显低于预期，因为硬标签、软标签和输入特征三者的对齐关系被破坏了。排查这类问题时，先把两路输入保持一致再做其他调整。

4.3 蒸馏后模型在某些类别上的表现异常

这是一个很有意思的现象：学生模型的整体精度与教师接近，但个别类别的召回率离奇偏低，而教师模型在同样类别上表现很好。排查下来，问题通常出在样本均衡上。如果某个类别的样本量比较少，这类样本的软标签信息在总 loss 中的占比就非常低，学生模型会倾向于牺牲低频类别去换高频类别的拟合。这种情况下，单纯调 T 或 α 效果有限，更有效的做法是引入类别重加权，即给低频类别的 CE 项分配更高权重，或者在构造 batch 时对这少数类别做上采样。

还需要确认一点：学生模型的结构是否对这个类别有天然的表达瓶颈。比如某些细粒度类别之间的特征差异很小，学生模型浅层感受野不足，它对这种微小差异不敏感。此时可以通过加深学生模型前几层、或扩大输入分辨率来缓解，而不要只盯着蒸馏参数调来调去。

5. 蒸馏技术进阶玩法与工程思考

5.1 在线蒸馏与自蒸馏，解决“没有大模型”的问题

核心蒸馏方案要求先有一个训练好的教师模型，但现实中有些场景连像样的教师模型都没有。在线蒸馏（Online Distillation）应运而生：教师和学生同时训练，两个模型共享一个训练循环，教师网络并非固定，而是与学生同步更新。这种情况下“教师”更像一个年龄稍长、学习进度领先的“学长”，彼此互助式提升。这种方案适合冷启动项目，缺点是训练流程更复杂，两个模型都需要记录优化器状态和训练进度，系统复杂度和资源占用都会提升。

进一步还有一种自蒸馏（Self-Distillation）方案，思路更“小巧”：一个模型在训练后期热启动，复制一份当前权重当作教师，用它对训练集产出软标签，再重新训练学生。这个方案的好处是完全不需要额外的教师网络，工程量最小。实践中，自蒸馏往往也能带来一定的指标提升，虽然幅度不如标准蒸馏显著，但它极大地简化了落地复杂度，对于时间紧的项目很实用。

5.2 多教师蒸馏：让多个专家的智慧合并

遇到一个复杂场景，可能一个大模型不够，甚至会出现“不同教师各有所长”的情况。比如图像领域里，某个教师模型对纹理敏感，某个教师模型对形状敏感，单靠一个教师很难覆盖全部维度。此时多教师蒸馏（Multi-Teacher Distillation）可以发挥作用：把多个教师模型的软标签做加权平均，或者利用注意力机制动态调整不同教师的权重。

实现上，你可以在每个 step 都让多个教师模型做前向，输出多个软标签，然后做加权求和，权重可以作为可学习参数，也可以按验证集效果人工设定。多教师方案的直接收益是提升学生模型的鲁棒性，因为它见到的监督信号更丰富。代价是训练资源进一步增加，所以多教师蒸馏一般用于离线训练环境，不适合在线实时训练。我个人的建议是：当单个教师模型在某类别上的表现不够稳时，再考虑引入第二个教师，不要一上来就堆数量。

5.3 蒸馏与量化、剪枝的搭配顺序

工业落地上，蒸馏很少单独出现，常和模型量化、剪枝联合使用。通常的搭配顺序是：先蒸馏出一个小参数模型，然后再做剪枝，最后量化。这样一个流程下来，模型体积可能仅仅剩原来的 4% 左右，而精度损失能被控制在一个很小的范围内。

为什么顺序要这么固定？因为先剪枝再蒸馏的话，剪枝过程会破坏模型的表达能力，后续蒸馏时学生模型的容量限制更大，效果天花板会被拉低。先蒸馏再剪枝，则能让模型先“学会”教师的核心逻辑，剪枝时保留关键通道，学生模型即使被压缩也依然握着蒸馏得到的知识。量化放在最后是因为量化本身带来的精度损失不可控，但当我们已经有了一个学得很好的小模型，量化后的损失幅度通常是各类模型压缩手段中最可控的。

5.4 蒸馏技术在推荐系统和 NLP 场景的落地点

知识蒸馏不只属于图像分类。在推荐场景中，大模型可以是一个双塔结构的高精度排序模型，学生模型则是一个压缩后的向量检索模型。蒸馏的软标签不再是类别概率，而是用户对候选物品的兴趣分数分布——让学生模型学会复现教师模型的打分排序关系。这种蒸馏在信息流推荐项目里很有效，因为排序关系的重要性远高于绝对分数。

在 NLP 场景，BERT 式预训练模型蒸馏是经典操作。大模型输出的是每个 token 的概率分布和隐藏层向量，学生模型可以同时接受层间特征匹配的监督。代码实现上和图像蒸馏几乎完全一样，区别在于损失函数中加入了对中间层输出的 MSE 对齐项，并且教师模型的隐藏层通常也需要做线性投影才能与学生模型对齐维度。

6. 总结与个人心得

知识蒸馏本质上是在做“信息压缩”，而不是“魔法”。它没有引入新的网络结构，而是重新设计了监督信号的表达方式，让原本被硬标签丢弃的类间关系重新参与训练。所以它的核心边界也很明确：学生模型的下限取决于教师模型的上限，如果教师模型本身就不够好，蒸馏出来的学生模型上限也会被锁死。每次选择蒸馏方案前，先检验一下教师模型的效果是否足够强势，这个前置判断能省下不少调参时间。

我在实际项目中踩过不少坑，最深刻的两点是：温度系数一定要结合教师模型实际输出的概率分布形态来调，不要照抄论文参数；损失权重 α 和 β 本质上是在“硬标签的准确约束”和“软标签的丰富信息”之间做平衡，需要你根据数据噪声程度来感受，而不是机械地固定一个值。另外，数据增强策略的一致性对整个蒸馏过程的影响远比想象更大，教师和学生吃到的数据如果形态不一致，最终会变成一种无声的系统性偏差。

最后分享一个小技巧：如果你想快速验证蒸馏方案在这个任务上是否有效，先不要急着调优，直接用默认设置跑通，然后对比“普通训练同结构小模型”的基线。如果默认设置的蒸馏结果连普通基线都不如，那大概率不是蒸馏没用，而是你的教师模型输出分布和任务本身不匹配。这时候先回到教师模型，把它的 logits 分布可视化出来，看看各类别概率是否有足够的区分度，再回来决定要不要继续深挖。蒸馏这条路，方向选对了，后面的调参才有意义。