把 671B 的推理能力压缩进 7B：R1 蒸馏的魔法、代价与边界

把 671B 的推理能力压缩进 7B：R1 蒸馏的魔法、代价与边界

【免费下载链接】DeepSeek-R1探索新一代推理模型，DeepSeek-R1系列以大规模强化学习为基础，实现自主推理，表现卓越，推理行为强大且独特。开源共享，助力研究社区深入探索LLM推理能力，推动行业发展。【此简介由AI生成】项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1

2025 年 1 月，DeepSeek-R1 的开源让"推理大模型"第一次以完整形态进入公众视野：不依赖人类标注的思维链数据，仅靠大规模强化学习（RL）就在数学、代码、STEM 竞赛上追平 OpenAI o1，模型权重与推理管线全部开放。更让社区沸腾的是随 R1 一同发布的六款蒸馏小模型——1.5B 到 70B，全部基于 Qwen2.5 与 Llama3 系列。一时间"本地部署 R1"成为主流教程的流量密码，Ollama、vLLM 的部署帖在各大平台刷屏，甚至有博主专门盘点"20 个 DeepSeek 版本怎么选"。

但把 671B 参数的 MoE 大模型"压缩"成 7B 的稠密模型，究竟靠的是什么魔法？追平了多少？又在哪里露了馅？本文不写营销稿，直接对照本仓库的 README.md、config.json、modeling_deepseek.py 等源码与评测数据，把 R1 蒸馏的机制、成绩单和边界一次说清楚。

一、蒸馏的魔法：转移的不是权重，是"怎么想"

1. 从 R1-Zero 到 R1：推理能力的源头

要理解蒸馏，先要理解蒸馏什么。README 的引言部分交代了 R1 家族的诞生路径（README.md）：

• DeepSeek-R1-Zero：在基础模型上直接做大规�模 RL，完全不经过监督微调（SFT），模型自主涌现出自我验证（self-verification）、反思（reflection）、长思维链（long CoT）等推理行为——这是首次在开放研究中证明"纯 RL 即可激励出推理能力"；
• DeepSeek-R1：为了解决 R1-Zero 的无限重复、可读性差、语言混杂等问题，在 RL 之前引入 cold-start 数据，并用"两阶段 RL + 两阶段 SFT"的完整管线打磨，最终在数学、代码、推理任务上达到与 OpenAI o1 相当的水平。

换句话说，R1 的真正资产不是那 671B 参数本身，而是强化学习在参数里"烙"下的推理策略：遇到难题先分解、再验证、必要时换思路。蒸馏要做的事，就是把这套"思考习惯"转移给小模型。

2. 蒸馏的正确打开方式：行为克隆，而非权重压缩

很多人误以为蒸馏是"把大模型压扁"。仓库给出的做法完全是另一条路（README.md 第 79–82 行）：

Using the reasoning data generated by DeepSeek-R1, we fine-tuned several dense models that are widely used in the research community... We open-source distilled 1.5B, 7B, 8B, 14B, 32B, and 70B checkpoints based on Qwen2.5 and Llama3 series.

而在 License 一节补充了关键数字：Qwen 系列的四个蒸馏模型是"finetuned with800k samplescurated with DeepSeek-R1"（README.md 第 220 行）。

也就是说，蒸馏的本质是用 R1 生成的高质量推理轨迹（问题 + 逐步思考 + 答案）做监督微调，让小模型模仿 R1 的思维过程。这是一种行为层面的知识迁移：小模型学到的不是大模型的全部参数分布，而是"遇到数学题要展开推导、遇到代码题要验证分支"的解题模式。论文摘要里那句话说得很直白：大模型涌现出的推理模式可以被系统地用来"guide and enhance the reasoning capabilities of smaller models"。

3. 蒸馏族谱与规模对照

仓库给出了完整的蒸馏家族（README.md 的 Model Downloads 表格）：

注意两个细节：一是基础模型选型有讲究，数学蒸馏用了 Qwen2.5-Math系列，相当于"带数学底子的学生"来继承推理教师的方法；二是 8B/70B 走 Llama 路线，说明蒸馏并不绑定自家架构，对开源生态是普适方法。

再看规模的悬殊。满血 R1 是 MoE 架构，config.json 写得很清楚：总参数量 671B、每个 token 只激活 37B，61 层 Transformer，256 个路由专家 + 1 个共享专家，每个 token 激活 8 个专家，还叠加了 MLA 多头潜在注意力、YaRN 长上下文扩展（163,840 位置）和 FP8 量化。仓库里的model.safetensors.index.json记录权重总量约 1.37 TB——而一个 7B 稠密模型不过 14 GB 量级，一张消费级显卡就能推理。这正是社区本地部署热潮的物质基础：推理能力首次以"普通人可运行"的尺寸分发。

最后是法律底座：LICENSE 采用 MIT，README 更明确写道"允许任何修改与衍生作品，包括但不限于蒸馏训练其他 LLM"。这条"允许被蒸馏"的条款，直接催生了后来一大批基于 R1 的二次蒸馏与微调实践。

二、成绩单：哪些任务真的追平了

1. 蒸馏模型的评测数据（仓库原文表格节选）

README.md 的 Distilled Model Evaluation 表格给出了六款蒸馏模型在五个推理密集基准上的成绩：

为了对照，满血 R1 在这几个基准上的成绩是：AIME 79.8、MATH-500 97.3、GPQA-Diamond 71.5、Codeforces rating 2029（README.md 的 DeepSeek-R1-Evaluation 表格）。

2. 三组关键读数

数学竞赛（AIME）：7B 就跨过了 GPT-4o/Claude 的线。1.5B 的 28.9 已是 GPT-4o（9.3）的三倍，7B 的 55.5 接近 o1-mini（63.6），14B 的 69.7 正式反超 o1-mini，32B 的 72.6 逼近满血 R1 的 79.8。这意味着：一个 7B 模型在高中竞赛数学上的表现，已经远超当年闭源的旗舰多模态大模型。

MATH-500：7B 就追平 o1-mini。92.8 vs 90.0，7B 反超 o1-mini；32B/70B 的 94.3/94.5 已经摸到满血 R1（97.3）的边。

GPQA-Diamond（研究生级科学问答）：差距开始显现。这是五列里最"硬核"的。7B 只有 49.1，14B 的 59.1 仍未过线，32B 的 62.1 与 70B 的 65.2 才越过 o1-mini（60.0），但距离 R1 的 71.5 还有明显缺口。结合 Codeforces 一列（32B 1691 vs o1-mini 1820），可以提炼出规律：任务越"可验证、规则明确"（竞赛数学、代码竞赛），蒸馏的继承率越高；任务越依赖广泛知识储备与深层科学推理（GPQA），小模型的容量天花板越早触顶。

下图是仓库随附的 R1 与主流模型全基准对比图（figures/benchmark.jpg），可以看出推理模型的成绩单高度集中在数学、代码与 STEM 领域，而这正是蒸馏最"保真"的区间：

3. 追平是有配方的：推理格式是"易碎品"

成绩单好看，但 README 专门列了一节Usage Recommendations（README.md 第 205–215 行），堪称"推理能力的正确打开方式"，也是蒸馏模型边界的第一条线索：

1. 温度必须压在0.5–0.7（推荐 0.6），否则容易出现无限重复或语无伦次；
2. 不要加 system prompt，所有指令放进 user prompt；
3. 数学题最好显式要求"请逐步推理，并把最终答案放在\boxed{}内"；
4. 评测要多测几次取平均；
5. 最关键的一条：模型有时会偷懒跳过思考模式（直接输出空的<think>），官方建议在每次输出开头强制<think>\n以触发完整推理。

仓库的生成配置与这一配方完全对应：generation_config.json 里temperature: 0.6、top_p: 0.95、do_sample: true；tokenizer_config.json 的 chat template 则内置了<think>标签处理逻辑——推理输出被显式包裹在<think>...</think>中，应用层可以据此把"思考过程"与"最终答案"分离展示。

这组配方的存在本身就是信号：蒸馏模型学到的推理能力，是以"显式思考"为前提的。一旦温度失控、加了系统提示、或者没有<think>前缀，成绩会明显退化。推理能力不是长在模型里的无条件技能，而是需要"正确的调用方式"。

三、代价与边界：蒸馏到底损失了什么

1. 边界一：知识面没有跟着推理一起"蒸馏"过来

蒸馏表里全是推理基准，几乎没有通用知识基准——这不是表格的疏忽。翻到满血 R1 的评测（README.md 第 130–150 行）：R1 的 SimpleQA（事实性问答）只有30.1，明显低于 GPT-4o 的 38.2；C-SimpleQA 63.7 也低于 DeepSeek V3 的 68.0。也就是说，R1 家族的强项从设计上就不是"知道得多"，而是"想得深"——800k 条蒸馏数据是从 R1 生成的推理轨迹中筛选的，小模型继承的自然是推理风格，而不是百科全书式的知识。

可以做一个直白的推演：7B 蒸馏模型在 GPQA 上只有 49.1，甚至低于非推理的 Claude-3.5-Sonnet（65.0）。如果拿它去做开放域的问答、检索增强、创意写作，它既没有满血模型的知识广度，也没有通用 instruct 模型的对齐手感。蒸馏红利是"领域性"的：数学、代码、逻辑推理吃满红利；知识问答、事实核查、开放生成，几乎吃不到。

2. 边界二：压缩的是权重，不是思考时间

蒸馏模型输出的思考链往往很长，README 明确说明评测时最大生成长度设为32,768 token（README.md 第 121 行）。这是推理范式的一个反直觉代价：模型变小了，但"想"的过程并没有显著变短。一个 7B 模型在本地跑一道 AIME 题，可能仍要生成上千 token 的思考过程——推理延迟和 token 消耗并不会因为参数变小而同比例缩小。

这带来两个工程后果：一是"本地部署"省的是显存和算力门槛，省不了推理时长，流式输出体验（一个字一个字蹦思考）是推理模型的常态；二是成本模型变了——短 query 场景下，蒸馏模型的"胡思乱想"反而可能比通用模型的直接回答更费 token。所以蒸馏模型更适合"值得多想"的结构化难题，而不是高频低延迟的琐碎问答。

3. 边界三：容量天花板与"教师上限"

把 AIME 一列纵向看：1.5B→7B→14B→32B，分数 28.9→55.5→69.7→72.6，曲线在 14B 之后急剧变平；GPQA 一列更是 7B 到 14B 几乎没动（49.1→59.1），32B 到 70B 只涨了 3 个点（62.1→65.2）。这说明蒸馏的收益随模型规模递减，小模型能"模仿"的推理深度存在硬性的容量上限——行为可以克隆，但多步推理所需的中间状态容量、知识检索容量，无法靠模仿凭空获得。

同时要正视"教师上限"：即便是最强的蒸馏模型（70B），在 AIME（70.0 vs 79.8）、MATH-500（94.5 vs 97.3）、GPQA（65.2 vs 71.5）上也全面低于教师 R1。蒸馏的天花板是教师的水平，R1 自己都答不对的题，蒸馏模型不可能答对。这也是论文与 README 反复强调的另一条结论的另一面：蒸馏小模型可以超过直接在小模型上做 RL（README 原文："better performance compared to the reasoning patterns discovered through RL on small models"），但永远追不上大模型本身。

4. 边界四：架构断层——MoE 的"并行魔法"无法蒸馏

最后要回到架构层面。满血 R1 是 MoE：671B 总参数、每 token 只激活 37B（config.json）。它的推理能力建立在两个引擎上：一是 256 个专家 + 分组路由（n_group: 8、topk_group: 4、每 token 激活 8 个专家）带来的"按需调用领域子网络"能力，二是 MLA 低秩注意力压缩的 128K 长上下文（源码见 modeling_deepseek.py 中的DeepseekV3MoE与DeepseekV3Attention，路由打分走 sigmoid + noaux_tc 分组 top-k）。蒸馏模型是稠密架构，它继承的是 R1 的输出分布与推理模式，而不是 MoE 的并行计算结构——这就注定了蒸馏模型的长文本推理、多任务并行容量与满血版存在结构性差距。

四、结语：把"魔法"留给该用的地方

回头看这场 671B→7B 的压缩实验，结论其实是清晰的：

• 魔法是真的：用 R1 生成的 800k 条推理轨迹做 SFT，就能让 7B 模型在竞赛数学上反超 GPT-4o、在 MATH-500 上反超 o1-mini——推理能力的知识迁移效率，远超在同等小模型上直接跑 RL。MIT 许可与全开源进一步放大了这个魔法，让它成为整个开源生态都能调用的公共资源；
• 代价是实的：推理能力是"格式敏感"的，必须配<think>前缀、压温度、按官方配方调用；知识面没有跟着蒸馏走；思考时间没有跟着参数变小；
• 边界是硬的：蒸馏收益随规模递减，14B 之后曲线变平；所有成绩都有教师上限，MoE 的架构红利也无法通过行为克隆转移。超过这些边界，还是得请满血 R1 出场。

所以给开发者的实用建议只有一句：数学、代码竞赛、逻辑推理类任务，优先考虑 14B/32B 蒸馏模型（本地或私有化部署，性价比极高）；涉及知识问答、事实核查、开放领域生成的任务，别把蒸馏模型当万能平替，回归通用大模型或满血推理模型。理解了蒸馏的魔法、代价与边界，671B 的推理能力才能在你的场景里真正"落地为生产力"。

【免费下载链接】DeepSeek-R1探索新一代推理模型，DeepSeek-R1系列以大规模强化学习为基础，实现自主推理，表现卓越，推理行为强大且独特。开源共享，助力研究社区深入探索LLM推理能力，推动行业发展。【此简介由AI生成】项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1