DeepSeek蒸馏技术解析：671B教师模型如何压缩至7B学生模型

简介：这份PDF面向AI算法工程师、模型压缩方向研究者及对大模型轻量化部署感兴趣的开发者，系统梳理DeepSeek蒸馏技术的原理、创新策略与架构设计，帮助读者理解如何在保持性能的前提下降低模型计算复杂度与存储需求。资源为单个PDF文件，压缩包约742KB，内容涵盖数据蒸馏与模型蒸馏结合、基于特征与特定任务的迁移策略、教师模型与学生模型选型、层次化特征提取、监督微调与混合损失函数等关键模块，并给出AIME 2024、MATH-500等基准上的实测表现。已有176人学习，适合希望快速掌握蒸馏技术脉络、对照实验数据理解知识迁移细节的读者，可作为模型优化与资源受限环境部署的参考材料。

1. 拆开 DeepSeek 蒸馏技术这份 PDF：671B 教师模型怎么塞进 7B 学生模型

第一次看到 DeepSeek-R1-Distill-Qwen-7B 在 AIME 2024 上跑到 55.5% Pass@1 的时候，我的反应是「这数据是不是标错了」。教师模型 DeepSeek-R1 是 671B 参数，学生模型只有 7B，差了将近一百倍，结果学生不光没崩，还把 QwQ-32B-Preview 这种比它大四倍多的开源模型给超了。这件事背后就是 DeepSeek 蒸馏技术的核心——它不是简单地把教师模型的输出概率抄一遍，而是把数据蒸馏和模型蒸馏拧在一起做。这份 PDF 把整套逻辑拆成了五个部分：蒸馏的基本定义、DeepSeek 的关键创新、模型架构与训练细节、性能对比数据、以及蒸馏技术当前绕不过去的两个硬骨头。适合谁看？如果你正在做模型压缩、想把大模型能力迁移到边缘设备，或者单纯想搞清楚「知识蒸馏」这四个字在工业级场景里到底怎么落地，这份材料值得逐页过一遍。它不讲空泛的概念，直接给参数量、基准分数、训练策略，是一份能对着复现的技术文档。

2. 数据蒸馏加模型蒸馏：800K 推理样本怎么喂给 Qwen 和 Llama

2.1 为什么单做模型蒸馏不够用

传统知识蒸馏的套路很固定：教师模型对一批数据做推理，输出软标签（soft label），学生模型去拟合这些软标签的分布。这个流程在分类任务上跑了很多年，没什么大问题。但放到大语言模型的推理任务上，问题就出来了——教师模型输出的不是一个简单的概率向量，而是一整段推理链。你让学生模型去拟合 token 级别的概率分布，它学到的是「下一个词该是什么」，而不是「怎么一步步推出答案」。

DeepSeek 的做法是在模型蒸馏之前先做一轮数据蒸馏。所谓数据蒸馏，核心操作是用教师模型去生成和优化训练数据本身。PDF 里写得很具体：DeepSeek 用教师模型生成了 800,000 个推理数据样本，这些样本不是原始语料，而是教师模型对大量输入进行处理后产出的高质量推理轨迹。换句话说，教师模型不只是「打分」，它还「出题」和「写答案」。

这个思路的关键在于：学生模型的学习材料被重新构造过了。原始数据里可能有很多噪声、格式不统一、推理步骤跳跃的问题，经过教师模型的处理，这些数据变成了格式规整、推理链完整的样本。学生模型拿到的起点就不一样。

常见做法是先用教师模型对原始数据集做一轮批量推理，把输出结果做过滤和格式化，再拿去做 SFT。我一般会在这个阶段加一个长度过滤和答案验证的步骤，把教师模型输出里明显跑偏的样本剔掉，不然学生模型会学到一堆错误推理模式。

2.2 监督微调的具体流程和参数

DeepSeek 蒸馏的核心训练手段是监督微调（SFT），不包含额外的强化学习阶段。这一点在 PDF 里被特别强调——整个蒸馏过程就是一步 SFT，没有 RL 介入。这意味着流程相对简洁，复现门槛比「SFT + RLHF」的低不少。

具体流程可以拆成四步：

第一步，教师模型推理。用 DeepSeek-R1（671B）对训练集做批量推理，生成推理轨迹。这一步的输出包括完整的思考过程和最终答案。

第二步，数据过滤与格式化。对教师模型的输出做质量筛选，去掉答案错误、推理链断裂、格式异常的样本。最终保留约 800K 条高质量推理数据。

第三步，学生模型选择。DeepSeek 选了 Qwen 和 Llama 系列作为学生模型的基础架构，覆盖 7B、8B、32B、70B 等不同规模。选这两个系列的原因很实际：它们的架构成熟、社区支持好、推理效率高，而且有现成的 tokenizer 和训练框架适配。

第四步，SFT 训练。用过滤后的 800K 样本对学生模型做监督微调。损失函数的设计上，PDF 提到使用了混合损失——软标签损失加硬标签损失。软标签让学生模型模仿教师模型的输出概率分布，硬标签确保学生模型能正确预测真实答案。

# 蒸馏 SFT 训练的核心配置示意（基于 HuggingFace Trainer 风格） from transformers import TrainingArguments training_args = TrainingArguments( output_dir="./distill_student", num_train_epochs=3, # DeepSeek 未公开具体 epoch 数，常见做法是 2-4 per_device_train_batch_size=4, # 根据显存调整，7B 模型建议 2-8 gradient_accumulation_steps=8, # 等效 batch size = 4 * 8 = 32 learning_rate=2e-5, # SFT 常用学习率范围 1e-5 ~ 5e-5 lr_scheduler_type="cosine", # 余弦退火，配合动态学习率调整 warmup_ratio=0.1, # 前 10% 步数做 warmup fp16=True, # 混合精度训练，省显存 logging_steps=50, save_strategy="epoch", gradient_checkpointing=True, # 7B 以上模型建议开启 )

这段配置里几个参数值得展开说。learning_rate设 2e-5 是 SFT 的常见起点，DeepSeek 在 PDF 里提到用了动态学习率调整策略，实际训练中会根据 loss 曲线做衰减。gradient_accumulation_steps设 8 是为了在单卡显存有限的情况下凑出足够的等效 batch size，蒸馏训练对 batch size 比较敏感，太小会导致梯度噪声大、收敛不稳。gradient_checkpointing是 7B 以上模型的标配，用时间换显存，大概能省 30%-40% 的显存占用。

温度参数的调整是蒸馏里容易被忽略的细节。PDF 提到 DeepSeek 在蒸馏过程中引入了温度参数来调整软标签分布，较高温度让分布更平滑，帮助学生模型学到类间关系，训练后期逐渐降低温度。常见做法是初始温度设 2-4，线性衰减到 1。

2.3 数据蒸馏和模型蒸馏结合后的效果

结合的效果直接体现在基准测试上。PDF 给了几组硬数据：

7B 的学生模型在 AIME 2024 上超过 32B 的 QwQ-32B-Preview，这个结果说明数据蒸馏带来的训练数据质量提升，比单纯堆参数量更有效。32B 的蒸馏模型在 MATH-500 上跑到 94.3%，已经非常接近教师模型的水平。

从工程角度看，这套方案最大的价值是：你不需要自己从零构造推理数据，教师模型帮你做了。你只需要有足够的算力跑教师模型的批量推理，再加上一次 SFT 训练，就能得到一个推理能力相当强的小模型。

3. 架构与训练细节：层次化特征提取和轻量化注意力怎么配合

3.1 教师模型和学生模型的架构选择逻辑

DeepSeek 选 DeepSeek-R1（671B）做教师模型，这个没什么悬念——教师模型越强，能传递的知识上限越高。关键在于学生模型的架构选择。PDF 里明确写了学生模型基于 Qwen 和 Llama 系列，这不是随便选的。

Qwen 系列的优势在于 tokenizer 对中文和多语言的支持好，注意力机制实现成熟，而且 7B 和 32B 这两个尺寸在社区里有大量微调经验可以参考。Llama 系列的优势在于生态最完善，训练框架适配最广，70B 的版本在推理任务上表现稳定。选这两个系列，本质上是在「架构效率」和「社区支持」之间取平衡。

架构设计上有两个关键点。第一个是层次化特征提取。教师模型在处理输入时，每一层 transformer 都会产生特征表示，这些中间层特征包含了不同抽象级别的语义信息。学生模型不只看教师模型的最终输出，还学习中间层的特征表示。PDF 里把这个叫做「基于特征的蒸馏」，区别于只学输出分布的「基于 logits 的蒸馏」。

第二个是多任务适应性。学生模型不只在单一任务上学习教师模型的输出，还针对不同任务类型做优化。比如文本分类任务和机器翻译任务，学生模型会调整自身的注意力模式和参数分配来适应。这个机制提高了模型的泛化能力，避免在某个特定任务上过拟合。

3.2 参数共享与轻量化模块的实现

参数共享和压缩是降低存储需求的核心手段。DeepSeek 在学生模型里做了部分参数的跨层共享，减少了独立参数的数量。具体哪些层共享、共享比例多少，PDF 没有给出精确数字，但常见做法是在 transformer 的 FFN 层做跨层参数共享，注意力层的参数保持独立。

轻量化模块设计的重点是注意力机制的优化。标准的多头注意力在长文本场景下计算复杂度是 O(n²)，学生模型如果直接继承这个结构，推理效率提升有限。DeepSeek 在学生模型里引入了轻量级注意力模块，降低长文本输入时的计算开销。

# 轻量化注意力模块的简化实现示意 import torch import torch.nn as nn class LightweightAttention(nn.Module): def __init__(self, d_model, n_heads, compress_ratio=4): super().__init__() self.n_heads = n_heads self.d_head = d_model // n_heads # 用低秩投影压缩 KV 的维度，减少计算量 self.kv_compress = nn.Linear(d_model, d_model // compress_ratio) self.kv_expand = nn.Linear(d_model // compress_ratio, d_model) self.q_proj = nn.Linear(d_model, d_model) self.out_proj = nn.Linear(d_model, d_model) def forward(self, x, mask=None): B, L, D = x.shape q = self.q_proj(x).view(B, L, self.n_heads, self.d_head).transpose(1, 2) # KV 先压缩再展开，降低中间计算量 kv = self.kv_expand(self.kv_compress(x)) k, v = kv.chunk(2, dim=-1) k = k.view(B, L, self.n_heads, self.d_head).transpose(1, 2) v = v.view(B, L, self.n_heads, self.d_head).transpose(1, 2) attn = torch.matmul(q, k.transpose(-2, -1)) / (self.d_head ** 0.5) if mask is not None: attn = attn.masked_fill(mask == 0, float('-inf')) attn = torch.softmax(attn, dim=-1) out = torch.matmul(attn, v).transpose(1, 2).reshape(B, L, D) return self.out_proj(out)

这段代码展示的是 KV 压缩的思路：先把 key 和 value 投影到低维空间，再展开回原始维度。compress_ratio控制压缩比例，设 4 意味着中间维度降到原来的四分之一。这个操作在长序列场景下能显著减少显存占用和计算量，代价是损失一部分注意力精度。实际部署时这个比例需要根据任务对精度的要求来调，推理任务一般设 2-4，生成任务建议不超过 2。

3.3 训练过程中的正则化和过拟合控制

蒸馏训练里学生模型容易过拟合教师模型的输出模式，尤其是在数据量不够大的时候。DeepSeek 在训练中引入了 L2 正则化来约束参数，防止模型过于复杂。PDF 里还提到了动态学习率调整，根据训练进度和模型性能来调学习率，保证收敛稳定性。

实际操作中，除了 L2 正则化，常见做法还包括 dropout 和 early stopping。dropout 率一般设 0.1，在注意力层和 FFN 层都加。early stopping 的 patience 设 2-3 个 epoch，监控验证集上的 loss，如果连续几个 epoch 不下降就停。

注意：蒸馏训练和普通 SFT 的一个关键区别是，验证集不能只用真实标签来评估。你还需要看学生模型输出和教师模型输出的一致性，通常用 KL 散度来衡量。如果 KL 散度在验证集上开始上升，说明学生模型在偏离教师模型的分布，这时候就该考虑停或者调学习率了。

4. 避坑与排查：蒸馏训练里最容易翻车的五个地方

4.1 教师模型输出质量不过关，学生模型学了一堆错误推理

现象：学生模型训练 loss 正常下降，但在基准测试上表现远低于预期，推理链经常出现逻辑跳跃或中间步骤错误。

原因：教师模型的输出没有经过严格过滤。DeepSeek-R1 虽然强，但在某些边缘 case 上也会出错。如果直接把所有输出拿去训练，学生模型会把教师的错误模式也学进去。PDF 里提到 DeepSeek 用了 800K 样本，这个数字是经过筛选后的，原始输出量远大于此。

解决：在数据准备阶段加两层过滤。第一层用规则过滤，检查输出格式是否完整、推理链是否有明显的断裂标记。第二层用答案验证，对有标准答案的任务，把教师模型输出和标准答案比对，只保留答案正确的样本。对于没有标准答案的开放任务，可以用另一个强模型做交叉验证。

4.2 温度参数设错，软标签分布失真

现象：学生模型在训练集上表现很好，但泛化能力差，换一个测试集就崩。

原因：温度参数设得太低（比如 T=1），软标签分布接近 one-hot 向量，学生模型学到的信息量很少，退化成硬标签训练。温度设得太高（比如 T=10），分布过于平滑，学生模型学不到有区分度的特征。

解决：初始温度从 2-4 开始试，观察训练过程中学生模型输出和教师模型输出的 KL 散度。如果 KL 散度下降太慢，说明温度偏低；如果 KL 散度一开始就很小但验证集表现差，说明温度偏高。DeepSeek 的做法是温度从高到低线性衰减，前期学全局结构，后期学精细分布。

4.3 学习率没调好，训练后期 loss 震荡

现象：训练前几个 epoch loss 稳定下降，到后面开始上下震荡，收敛不了。

原因：学习率设得太大，或者没有做 warmup。蒸馏训练的梯度信号比普通 SFT 更复杂，因为损失函数里同时有软标签和硬标签两部分，梯度尺度不一致。

解决：加 warmup，前 10% 的训练步数把学习率从 0 线性升到目标值。学习率用余弦退火，从 2e-5 逐步降到 1e-6。如果还是震荡，把 batch size 调大或者加梯度裁剪（max_grad_norm=1.0）。

4.4 显存不够，训练中途 OOM

现象：训练到一半突然报 CUDA out of memory，尤其是处理长序列样本的时候。

原因：蒸馏数据的推理链通常很长，序列长度可能到 2048 甚至 4096。加上教师模型的软标签需要额外存储，显存占用比普通 SFT 高不少。

解决：开启 gradient checkpointing，能省 30%-40% 显存。把 batch size 降到 1-2，用 gradient accumulation 凑等效 batch size。如果还不够，用 DeepSpeed ZeRO Stage 2 做优化器状态分片。序列长度方面，可以按长度分桶（length bucketing），把相似长度的样本放在同一个 batch 里，减少 padding 浪费。

4.5 学生模型选型不当，蒸馏效果打折

现象：同样的数据和训练配置，换一个学生模型架构，效果差很多。

原因：学生模型的容量和教师模型差距太大时，蒸馏效果会明显下降。7B 的学生模型能学到 671B 教师模型的一部分能力，但如果你用一个 1B 的模型去蒸馏，可能连基本的推理链都学不会。

解决：学生模型参数量建议不低于教师模型的 1%。671B 的教师模型，学生至少 7B 起步。另外，学生模型的架构要和教师模型有一定的兼容性，比如注意力头数、隐藏层维度不要差太远，否则特征蒸馏那一步很难对齐。

5. 从 PDF 到实操：蒸馏模型部署时的量化与推理加速技巧

PDF 里给的是训练侧的技术细节，但真正把蒸馏模型用起来，部署侧的优化同样关键。DeepSeek-R1-Distill-Qwen-7B 训练完之后是 FP16 精度，显存占用大概 14GB，单卡 4090 能跑但并发上不去。我一般会做两步处理。

第一步是量化。用 GPTQ 或者 AWQ 把模型压到 4-bit，显存占用降到 4GB 左右，推理速度提升 2-3 倍。量化对蒸馏模型的影响比原始模型小，因为蒸馏模型本身的参数冗余度就低，量化带来的精度损失相对可控。实测 7B 蒸馏模型 4-bit 量化后在 MATH-500 上的 Pass@1 下降大概 1-2 个百分点，从 94% 降到 92% 左右，完全可接受。

# 用 AutoGPTQ 做 4-bit 量化的命令示意 python -m auto_gptq.quantize \ --model_name_or_path ./distill_student \ --output_dir ./distill_student_gptq \ --bits 4 \ --group_size 128 \ --desc_act \ --dataset c4 \ --num_samples 1024

group_size设 128 是精度和压缩率的平衡点，设 32 精度更高但压缩率下降，设 256 压缩率更高但精度损失明显。desc_act开启后量化顺序会按激活值排序，对推理任务的精度保持更好。num_samples是校准集大小，1024 条足够覆盖常见分布。

第二步是推理框架选择。vLLM 对蒸馏模型的 PagedAttention 支持很好，7B 模型在单卡 4090 上能跑到 2000+ tokens/s 的吞吐。如果要做本地部署，Ollama 的部署门槛最低，一条命令拉起来，适合快速验证。生产环境建议用 vLLM 或者 TGI，支持连续批处理和并发调度。

提示：量化后的模型在做推理任务时，temperature 建议设 0.6 以下，top_p 设 0.95。蒸馏模型的输出分布比原始模型更集中，温度设太高容易产生重复或跑偏的推理链。

从那以后我每次拿到一个蒸馏模型，都强制走一遍「量化 → 推理框架适配 → 基准测试验证」的流程，不跳过任何一步。因为训练侧的效果再好，部署侧翻车了就是白搭。希望帮到你。

本文还有配套的精品资源，点击获取