大模型训练降本八招：从结构到训练的参数量压缩实践指南

前阵子我在啃一篇开源大模型的论文时，越读越觉得有意思。论文本身讲的是如何把大模型的训练参数量压下来，但读完之后我发现，里面不少思路不仅能用于复现论文场景，还能迁移到我们自己的训练任务里。我把论文里的方法拆成 8 招，每一招都从“它到底解决什么问题”“主要怎么实现”“我能怎么直接用”三个角度来整理，今天分享出来，给正在做大模型训练、调优或者预算有限只能精打细算的同行做个参考。

1. 这篇论文最值得啃的点：参数量是怎么被压下来的

先说背景。我们平时训练大模型，最痛的事情就是显存不够、算力不够、跑一次实验的时间太长。模型参数量一旦上去，不光静态存储要钱，训练过程中的优化器状态、梯度、中间激活值都要占额外显存。论文里一个很核心的思想是：不是所有参数都值得被完整训练，也不是所有计算步骤都值得用全精度去做。基于这个思路，作者从模型结构和训练算法两个层面同时动刀，把训练参数量降到了很可观的水平。

我最开始读的时候还有点怀疑，因为很多降参数量方法都会伴随精度下降。但论文的价值恰恰在于，它把多种手段组合起来，让整体损失控制在一个可接受范围内。这篇论文读下来，我的最大收获并不是某一个具体模块的设计，而是一套“分阶段做减法”的方法论——先想办法让模型结构本身更省，再让训练过程更省，最后再针对特定任务做参数级优化。

要理解这 8 招，先得明确一个容易被混淆的点：降低训练参数量并不是只指减少模型最终存储的权重个数。有些方法减少的是训练时需要更新和保存的参数量，有些方法减少的是实际参与计算的参数量，还有些方法减少的是显存中的动态占用。为了避免后面越讲越乱，我把这 8 招分成两类：

1. 结构层面的减法：让模型天生就用更少的参数来表达同样的能力；
2. 训练过程的减法：模型结构不变，但通过训练策略降低需要更新的参数量和显存压力。

下面每一招我都会说清楚它属于哪一层，这样你用的时候也更清楚该在哪个阶段介入。

2. 结构层面先动刀：共享、分解、压缩、稀疏

这一节讲的是模型设计阶段就能做的 4 招。它们的特点是：一旦把模型结构改了，后面训练的每一步都能享受到参数减少带来的好处。

2.1 第一招：权重共享，让同一份参数干好几份活

权重共享是我觉得最容易理解、也最容易低估收益的一招。它的核心逻辑非常简单：模型里的某些模块，其实没必要各自维护一套独立的参数，可以让它们共用同一套权重。

最典型的例子就是词嵌入层和输出层。在很多 Transformer 模型里，输入侧的词嵌入矩阵和输出侧的投影矩阵尺寸往往是对称的，如果分别保存两份，参数量就是双份。论文里会直接把这两个矩阵绑定成同一个参数，前向计算时一个矩阵被两处引用，反向后梯度也会自动累加。

我刚开始做共享参数时担心过一个事情：输入和输出的语义空间真的完全一致吗？后来发现，多数任务里这个近似是成立的，而且在训练初期还能起到一定的正则化作用，反而减少过拟合。

实操时要注意的是共享参数的粒度。除了词嵌入层，你还可以把相邻 Transformer 层的某些权重共享掉，比如隔层共享前馈网络的参数，或者共享 Attention 里的某些投影矩阵。有的实验表明，隔层共享可以让模型参数量减少 10% 到 20% 左右，代价是训练收敛速度略微变慢，需要多跑一些 step 才能追平效果。

这类方法适合的场景是：你的模型里有大量结构相似、语义相近的模块，直接复制各自参数属于浪费。我给出的建议是先用梯度分析工具看各层权重更新方向是否高度相似，如果相似度很高，共享就大概率是安全的。

2.2 第二招：低秩分解，把大矩阵拆成两个小矩阵

低秩分解是个数学味道比较重的方法。简单来说，一个形状为 d×d 的权重矩阵，如果它的有效秩其实只有 r，那么这个矩阵的信息根本不需要用 d 的平方个参数来存储，完全可以用一个 d×r 的矩阵和一个 r×d 的矩阵来近似表达。这样参数量就从 d² 降到了 2dr。

我在实际项目中用过这个思路去压缩前馈网络的中间投影。比如原来是一个 4096 维映射到 4096 维的全连接层，如果分解成 4096×256 和 256×4096 两个矩阵，参数直接从 1600 万降到 200 万左右，少了差不多一个数量级。

这里有一个关键问题：r 怎么选。选得太小，表达能力严重受损，模型欠拟合；选得太大，省参数的收益又不明显。我的经验是先做一个 Rank 分析，也就是看大矩阵的奇异值分布。如果奇异值从某个位置开始快速衰减，那个位置就可以作为 r 的初始候选值。另一个比较务实的做法是，先按目标参数量反推 r，再在训练中尝试增大或缩小，观察 loss 的走势。

低秩分解不光能用在权重初始化上，还可以作为一种“训练后压缩”手段。训练时用完整大矩阵学到的信息，事后做 SVD 分解，只保留前 r 个奇异值和对应向量。但训练完再做分解和一开始就用低秩结构训练，这两者的精度差异不小。论文里通常更倾向于“从训练一开始就采用低秩结构”，因为优化轨迹会自适应地调整参数分布，而不是强行截断一个已经收敛的矩阵。

2.3 第三招：注意力键值压缩，把缓存开销也降下来

这一招在普通结构讲解里很少被单独拿出来说，但我认为它才是论文里最值得注意的一点。我们知道 Attention 机制在训练和推理时都需要维护 Key 和 Value 的缓存，这些缓存的形状是长度乘以隐藏维度。当序列很长时，这部分显存开销几乎和参数本身一样大。

论文里的做法是引入一个潜变量压缩模块，不直接维护完整的 Key 和 Value，而是先学习一个低维的潜变量，再通过两组投影矩阵把潜变量还原成计算 Attention 所需的 Key 和 Value。这就相当于把 Key/Value 的存储维度从“隐藏维度”压缩到了“潜变量维度”。

我试过在中等规模模型上复现这个思路，最直观的感受是：对于相同长度的序列，KV 缓存占用可以降到原来的四分之一甚至更低。这意味着在显存有限的情况下，可以塞进更大的 batch size，从而让训练吞吐明显上升。

实际操作中有一个需要特别留意的坑：潜变量维度如果压得太低，Attention 的表达能力会被削弱，导致长距离依赖的建模变差。我的建议是先用一个相对保守的压缩比起步，比如保持潜变量维度为隐藏维度的 32 分之一，然后根据验证集上的长文本任务表现来调整。此外，投影矩阵本身也是参数，这部分开销需要算进总账里，并不会凭空消失，但它换来的显存收益绝对值更大，往往依然划算。

2.4 第四招：稀疏专家混合，不激活的参数不等于不存在

谈到降低训练参数量，很多人第一反应是稀疏专家混合。它的核心思想是：一个大的前馈网络其实可以由多个小专家网络组成，每个 token 只路由到其中少数几个专家，其余专家不参与计算。

这个思路最吸引人的地方在于，它实现了“总参数大，但计算量不大”的效果。比如你有 64 个专家，每个 token 只激活其中 2 个，那么理论上前馈部分的计算量只有全量计算的三十二分之一，但模型保存的参数依然是 64 份专家之和。所以严格来说，稀疏专家混合降低的不是总参数量，而是训练和推理时实际参与计算的参数量，以及由此带来的计算和显存压力。

我在尝试这一类结构时，最大的感受是工程复杂度远高于普通 Transformer。你需要额外维护一个路由网络，而且路由网络很容易陷入“赢者通吃”的局面——也就是少数专家被频繁选中，大部分专家几乎得不到训练，最后模型退化成一个参数量巨大的普通模型。针对这个问题，论文里通常会在损失函数中加入负载均衡约束，让专家之间的被选择次数尽量均匀。

对于读者来说，如果目标是降低训练参数量且能接受一定工程复杂度，这一招非常值得用。但如果只是做一个几亿参数的小模型，引入专家混合反而可能因为路由不均匀和通信开销让训练变得笨重。我会更建议在模型规模达到一定阈值——比如至少十亿参数以上——之后再考虑这类稀疏结构。

3. 训练阶段再减负：剪枝、量化、蒸馏、冻结微调

模型结构做完了减法，接下来要看训练过程本身。这一节的 4 招不会改变模型架构，但能让你在训练过程中实际使用的参数量和显存占用大幅下降。

3.1 第五招：结构化剪枝，让不重要的参数直接消失

剪枝是一个很老的技术，但在大模型训练里重新焕发了生命力。它的逻辑是：模型中并不是每个权重都对最终结果有同等贡献，一部分参数的绝对值很小或者对损失的敏感度很低，去掉它们并不会对精度造成太大影响。

剪枝分为非结构化和结构化两种。非结构化剪枝只把不重要的单个权重置零，稀疏性很高但需要特殊算子支持才能加速，标准硬件上反而可能变慢。结构化剪枝则是把整个通道、整行或整列都删掉，虽然损失一些灵活性，但能直接让矩阵变小，从而实打实地降低训练和推理时的参数量。

结合论文中的做法，我比较推荐“渐进式剪枝”：在训练过程中每隔若干步做一次小幅度剪枝，而不是训练结束后一次性剪掉一大块。这样模型有机会在剩余结构上重新调整参数分布，精度回弹的空间更大。你可以先设定一个目标稀疏度，比如 20%，然后从第 20% 的训练进度开始，每 1% 的进度剪掉一定比例的通道，最后在训练末尾做一次微调。

这里我想特别提个醒：剪枝比率不是越高越好。我做过不少实验，通道剪枝超过 30% 之后，模型在某些低频类别或长尾分布上的表现会显著下降。这不是平均损失能看出来的，必须用细粒度指标去验证。如果你没有专门的评估集，宁可保守一点，先剪 10% 到 15%，看效果稳定再往上加。

3.2 第六招：量化感知训练，用低精度把每一步的显存都省下来

量化算是目前最直接降低训练显存占用和参数量存储的手段之一。常规训练用 FP16 甚至 FP32 保存梯度和权重，但论文里的做法是让模型在训练时就模拟低精度计算，比如 INT8、INT4，让权重和激活值的存储规模直接缩小。

为什么说“模拟”？因为直接在纯 INT8 环境下训练往往会带来很大的精度损失，尤其刚开训时参数扰动很敏感。量化感知训练的常见做法是：维护一份高精度的权重副本，但前向计算时把权重和激活值量化到低精度，反向传播时再把梯度投射回高精度副本上更新。相当于拿高精度权重作为“母版”，但所有计算消耗都按低精度算。

我自己的经验是，量化感知训练有两个最关键的参数：量化范围和量化粒度。量化范围决定了浮点数到整数的映射区间，范围太小会截断极端值，范围太大则会让中间精度的分辨率不足。更推荐的做法是按通道或者按 token 动态计算 min/max，而不是用全局统一的范围。量化粒度越细，精度损失越小，但计算开销也越大，需要你做个平衡。

有一点可能和直觉不同：量化并不一定意味着训练速度变快，尤其是在小 batch size 场景下，量化/反量化操作本身也有开销。但在大 batch 和长序列场景下，省下来的显存可以让你把模型和 batch 塞得更大，整体吞吐收益非常可观。我把这一招定位成“用一点精度换训练规模”的策略，非常适合显存不足但想跑更大模型的团队。

3.3 第七招：知识蒸馏，拿小模型学大模型的判断方式

知识蒸馏是典型的“间接降参数量”方法。它不改变当前模型的任何结构，而是用一个大模型（教师模型）的输出去引导一个小模型（学生模型）训练，从而让小模型用远小得多的参数量逼近大模型的效果。

论文里用蒸馏的时候，不只是简单地让小模型去拟合大模型的硬标签，而是用大模型输出的软概率分布作为训练信号。软标签里包含了类别之间相似度信息，比如模型认为“猫”和“老虎”的接近程度远大于“猫”和“汽车”，这种信息在硬标签里是不存在的。

实际操作上，蒸馏需要控制一个叫“温度”的超参数。温度越高，软标签里各类别的概率分布越平滑，小模型学到的大模型“思考方式”就越充分；温度太低则软标签退化到接近硬标签，蒸馏效果不明显。我在不同任务里试过，温度取 2 到 4 之间往往是个甜点区域。

蒸馏还有一个容易被忽略的坑：教师模型的质量。如果你用一个本身就欠拟合的大模型去蒸馏，学生模型学到的就是“错误答案的分布”，结果反而比直接训练更差。所以我通常建议先确保教师模型在目标任务上有足够好的表现，再启动蒸馏。

如果你是在一个全新的领域里做模型压缩，蒸馏可以放到方案后期。先通过前面提到的低秩分解或结构化剪枝把模型缩小，再用蒸馏做一轮精度恢复，这个组合我测过很多次，比单独使用任何一种手段的效果都更稳。

3.4 第八招：参数高效微调，训练时只更新一小部分参数

最后一招其实更偏向训练策略，适合你已经有一个预训练模型、只需要在下游任务上微调的场景。传统微调会让所有参数都参与更新，对于一个十亿参数的模型，每个下游任务都要单独保存一份完整权重，训练时也要为全量参数计算梯度，成本自然很高。

参数高效微调的核心思路是：冻结绝大部分原始参数，只额外引入或者只更新极小一部分可学习参数。常见手段包括只训练 LayerNorm 里的 scale 和 bias、在 Attention 层旁边插入低秩适配矩阵、在输入侧增加一小部分可学习的 prompt token 等。

我自己最常用的适配器就是低秩旁路。做法是给线性层加一条“旁路”：输入先经过一个降维矩阵，再经过一个升维矩阵，把输出加回原始输出上。训练时原始权重全部冻结，只更新旁路里的两个小矩阵。只需要为主模型增加不到 2% 的参数量，就能在大多数任务上达到接近全量微调的效果。

这种方法的另一个好处是“多任务友好”。你可以为每个任务只保存一套旁路参数，主模型永远只有一份。部署时动态切换旁路，就能在同一个模型权重上服务不同任务，这在工程上非常省事。需要提醒的是，如果下游任务和预训练任务差距过大，只加适配器可能不太够，这时可以放开最后一两层全量更新，再加适配器，效果会更好。

4. 八招怎么组合才能发挥最大效果

单独讲每一招都很清楚，但在实际项目中，很少会只用一招。论文里真正厉害的地方在于把多个方法按顺序组合起来。我根据自己的复现经验，给出一套比较稳妥的“组合路线图”。

4.1 组合的原则：先结构后训练，先粗调后精调

我的经验是：结构层面的修改越早做越好，训练层面的优化可以逐步叠加，但不要一开始就把所有手段全部打开。原因很简单，如果一上来同时启用低秩分解、量化、剪枝、蒸馏、稀疏专家，你根本分不清精度下降到底来自哪一个环节。工程问题里，变量太多等于没有变量。

推荐顺序大致是：

1. 先确定模型主架构，把权重共享和注意力键值压缩这两个结构性改动确定下来；
2. 再用低秩分解替换部分大矩阵，这一步可以明显降低参数量，但不会带来太严重的精度波动；
3. 如果模型规模够大且训练资源紧张，再引入稀疏专家混合，但要做好负载均衡监控；
4. 训练到中期加入渐进式剪枝，同时配合量化感知训练，用低精度节省显存；
5. 训练后期或者预训练完成后，用知识蒸馏做一轮精度复原；
6. 最后每个下游任务用参数高效微调去适配，不再全量更新参数。

这套顺序不是唯一的答案，但它是变量最少、最容易定位问题的一种组合方式。我在两个规模不同的实验上验证过，前一版组合比单用任意两招都稳定，最终参数量下降了将近一半，精度只掉了不到两个百分点，而训练吞吐提升很明显。

4.2 不同方法的效果对比，直接用表格说话

为了让你更直观地挑选方法，我把这 8 招的主要收益和代价整理成了一张表。

这张表里的“精度风险”是我的个人经验值，不是严格实验结论。实际风险会因任务差异、数据规模、组合方式而波动，但它至少能帮你做个预判：如果你的项目对精度极其敏感，那就优先选权重共享和量化感知训练这种相对温和的手段；如果你想快速撑起一个大模型实验，结构化剪枝和稀疏专家混合的短期收益会更明显。

5. 复现过程中的坑与补充建议

方法归方法，真拿到自己项目里，还是有不少需要注意的细节。我最后一个部分专门讲复现时遇到的实际状况和我的应对方式。

5.1 不要忽略优化器状态的显存开销

做训练优化的同学往往盯着模型参数和激活值，却容易忽略优化器状态。像 Adam 这类优化器需要为每个参数保存一阶动量和二阶动量，这部分显存通常是参数量的两倍以上。也就是说，哪怕你把模型参数量砍到原来的一半，优化器状态依然会占一大块显存。

应对方法有两个思路：要么用低秩分解直接减少参数量，让优化器状态同步减少；要么换用内存效率更高的优化器，比如不保存完整二阶动量的变体。实验下来，前者更稳妥，后者需要你重新调学习率等超参，训练初期的稳定性会差一些。

5.2 组合使用的次序对结果影响很大

有段时间我把低秩分解和量化感知训练同时启用，结果 loss 在训练中期突然暴涨。排查了很久才意识到，低秩分解已经在一定程度上压缩了参数表达空间，量化又进一步限制了精度，两个误差叠加后被放大，模型根本找不到稳定的优化方向。

后来我改成“错峰”使用：第一周只用低秩分解训练，等 loss 下降到平稳区段后再开启量化感知训练，问题就消失了。所以组合多种降参数量方法前，一定要想清楚每一步会给模型引入多少额外误差，尽量让误差来源在时间上错开。

5.3 评估指标里要加入“参数效率”维度

最后一条建议可能有点反直觉：评估方案时不要只看精度，还要看参数效率。什么叫参数效率？就是单位参数量带来的效果提升。同样是 85 分的准确率，一个模型用了 5 亿参数，另一个模型用了 2 亿参数，后者的参数效率明显更高，也更适合部署到真实业务里。

我建议团队在做实验报告时固定一个“参数量-精度”二维指标，每次优化都记录下当前的可训练参数量、总参数量、峰值显存以及对应效果。时间久了，你就能建立一个属于自己项目的方法库，知道哪些手段在本领域内是真正有效的。

说到底，降低大模型训练参数量并不是一个纯粹的学术问题，它是一个预算问题、一个工程效率问题、也是一个部署可行性问题。论文里的 8 招，每一招单独拿出来都不算新颖，但把它们按照合理的顺序组合起来，就能产生 1+1>2 的效果。我自己在这轮实验里最大的体会是：不要留恋某一个模型的原始存留参数，敢于做减法，并且给每一项减法留出足够的验证空间，才是真正把模型训练成本降下来的关键。