从SGD到AdamW：深度学习优化器的演进与实战选择

优化器大概是深度学习里最像“手感”的东西。同一个模型、同一份 loss，把 SGD+Momentum 换成 Adam，前几个 epoch 的曲线就像换了个人在训练；再换成 AdamW，又有一层微妙的变化。很多人调参久了，心里会形成一套朴素规则——图像分类默认 SGD，Transformer 默认 AdamW，但真要问一句“为什么”，能讲清楚的人并不多。

这篇文章想沿着“从 SGD 到 AdamW”这条演进线把优化器完整走一遍。不讲虚的：每个阶段解决了什么问题、引入了什么机制、付出了什么代价，以及落到实操里该怎么选、怎么调、怎么避坑。适合正在学深度学习、或者已经跑过不少模型但一直把优化器当黑盒的读者。读完后你至少能回答一个问题：同一个项目里，换优化器到底是换了什么。

1. 优化器不是在“下坡”，而是在决定每次更新的方向与步长质量

1.1 损失面不是平滑的碗，而是带沟壑的高维地形

很多入门材料喜欢把梯度下降画成一个人在山谷里往低处走，损失面是一个干净的大碗。真实的高维损失面完全不是这样：它更像一片高低不平的山地，有狭长的峡谷、平坦的高原、陡峭的悬崖，还有无数局部洼地。

在这种地形里，参数每个维度上的“坡度”相差很大。有的维度梯度常年很大，比如某个权重的数值稍微变化一点点，loss 就剧烈波动；有的维度梯度几乎为零，比如某些稀疏特征对应的权重，大部分时间没有信号。如果给所有维度用同一个固定步长，问题立刻出现：学习率大了，陡峭维度震荡发散；学习率小了，平坦维度又几乎不动。

这背后有一个概念叫条件数，可以理解成损失面在不同方向上“陡峭程度”的比值。条件数越大，意味着地形越扁长。梯度下降在这种扁长地形上会走出锯齿状路径，效率极低。而优化器的演进史，本质上就是不断对抗这种“方向差异”和“地形崎岖”的历史。

1.2 方向估计比步长更重要：SGD 的低效来自噪声与病态曲率

随机梯度下降（SGD）的更新极其朴素：每次采样一个 mini-batch，算出梯度，沿负梯度方向走一步:

theta = theta - lr * grad

它假设每个 batch 的梯度是真实梯度的近似估计。但这个估计是有噪声的，尤其在 batch size 较小、数据方差较大的时候。梯度方向本身的偏差，会让更新路径看起来像喝醉了酒的人在走山路，兜兜转转才到终点。

另一个低效来源是前面说的病态曲率。沿陡峭方向走，稍微跨大一点就越过谷底，形成来回震荡；沿平坦方向走，又因为梯度太小而推进极慢。单纯把学习率调小，能够抑制陡峭方向的震荡，但平坦方向的推进速度会进一步变慢。于是你会发现，SGD 在复杂网络上的训练曲线经常呈现“前期猛、中期拖、后期卡”的状态。

所以优化器要做的事，本质上不只是“朝着梯度反方向走”，而是两件事：一是把方向估计得更准，二是把每个维度上的步长分配得更合理。后来的 Momentum、Adam、AdamW，全都是围绕这两点做文章。

1.3 为什么一阶方法统治了日常训练

聊到二阶方法，也就是牛顿法、拟牛顿法，它们在理论上能同时解决方向与步长问题，因为 Hessian 矩阵刻画了损失面的曲率，能告诉你每个方向应该走多远。但深度学习中参数量动辄上亿，Hessian 的计算和存储成本是不可接受的。于是大家退而求其次，只用一阶梯度信息，再通过各种技巧去“模拟”曲率的作用。

这就是所有主流优化器所在的位置：一阶方法，加上对梯度历史信息的统计，试图用更聪明的更新规则逼近二阶方法的效率。SGD、Momentum、AdaGrad、RMSProp、Adam、AdamW，全都属于这一类。搞清楚这一点，后面每个算法的改进动机就很好理解了。

2. 五个关键里程碑：从动量到 Ada 家族再到 Adam

2.1 动量：给 SGD 装上一个惯性轮

Momentum 是最直观的改进。它的想法来自物理：一个小球从山坡滚下，速度是累积的，不会因为某一个时刻的梯度为零就立刻停住。更新公式变为:

v = beta * v + grad theta = theta - lr * v

这里的 beta 通常取 0.9，v 是历史梯度的指数滑动平均。这样做的直接效果是：如果在陡峭方向上梯度来回反向，动量项会互相抵消，震荡幅度变小；而在平坦方向上，如果梯度一直同向，速度会一点一点累积起来，推进更快。

我在实际训练中强烈建议初学者先调通“SGD+Momentum”，因为它非常接近人类下山的直觉，出问题时容易理解。相比之下，直接上手 Adam 常常会让训练曲线的异常更难定位，因为你根本不知道是哪个统计量出了问题。

2.2 Nesterov：先探路再出脚

Nesterov 动量在标准动量上做了一个小改动：先利用当前速度往前探一步，计算探路位置的梯度，再更新速度。看起来只差一步，但道理更聪明——既然小球已经拥有速度，下坡时应该朝速度方向先看一眼前方是上坡还是下坡，再决定踩油门的力度。

训练中它能一定程度上减少动量带来的过冲。不过 Nesterov 在深度学习日常使用中的收益比较微妙，大多数框架里它被封装成一个开关，开与不开差别不大。它更大的价值在于提醒我们：优化器可以对“未来”做一阶预估，这为后来许多高级调度策略提供了思想基础。

2.3 AdaGrad：把稀疏维度放大，但也把学习率耗死

AdaGrad 换了一个角度解决问题。它不再对每个参数使用相同的学习率，而是让历史梯度大的参数获得较小的更新步长，历史梯度小的参数获得较大的更新步长:

G += grad^2 theta = theta - lr / sqrt(G + eps) * grad

直觉上，经常被更新的参数需要小步慢慢走，不常被更新的参数应该在收到信号时大步跟上。这在处理稀疏特征时非常有效，比如点击率预估、文本分类这类任务，大量特征出现频率极低。AdaGrad 因此成为早期工业推荐系统的常见选择。

但它有个致命问题：G 是梯度平方的累加，只会不断增大，分母越变越大，导致每个参数的有效学习率持续衰减，直到几乎停止学习。也就是说它“把学习率耗死了”，训练时间一长就失去更新能力。这个缺陷直接催生了 RMSProp。

2.4 RMSProp：用滑动平均给 AdaGrad 续命

RMSProp 的改动很小：把累加的平方梯度从“求和”换成“指数滑动平均”：

v = alpha * v + (1 - alpha) * grad^2 theta = theta - lr / sqrt(v + eps) * grad

这样 v 不会无限增长，它始终追踪最近一段时间的梯度尺度。过去的梯度很大，只会在 v 里留下衰减后的影响，不会永久拉低学习率。RMSProp 让自适应学习率法摆脱了训练中后期的学习能力枯竭问题。

但它本质上只解决了“步长分配”的一半：分母的 v 归一化了梯度尺度，却没有任何“动量”来平滑梯度方向。在噪声大的任务里，RMSProp 仍然会表现出明显的方向抖动。因此，把 RMSProp 的逐维度归一化和动量的方向平滑结合起来，就成了一个顺理成章的目标。

2.5 Adam：动量与逐参数自适应的第一次合体

Adam 把 Momentum 和 RMSProp 放在一起，维护两个统计量：一阶动量 m 追踪梯度方向，二阶动量 v 追踪梯度平方尺度。同时加入偏差修正，解决训练初期 m 和 v 从零开始导致的估计偏小:

m = beta1 * m + (1 - beta1) * grad v = beta2 * v + (1 - beta2) * grad^2 m_hat = m / (1 - beta1^t) v_hat = v / (1 - beta2^t) theta = theta - lr * m_hat / (sqrt(v_hat) + eps)

其中 beta1 通常取 0.9，beta2 取 0.999。Adam 的实际效果非常惊人：它几乎不需要怎么调学习率，默认 0.001 左右就能在大量任务上跑出合理结果，尤其适合 Transformer 类模型、稀疏特征场景和训练初期缺少经验的用户。

但如果你用它训过足够多的模型，会慢慢察觉一些不对劲的地方：训练集 loss 降得很快，验证集泛化却常常比不过精心调过学习率和动量的 SGD；同一个小改动，Adam 的波动看起来更“神经质”；长训练到最后，验证集曲线偶尔还会突然跳一下。这些问题，正是下一章要拆解的 Adam 隐坑。

3. Adam 的隐坑：自适应为什么会在泛化上吃亏

3.1 自适应学习率放大了噪声维度上的步长

Adam 逐参数归一化梯度之后，一个直接后果是：原本梯度很小的维度，会被分母 v 的小值放大，获得相对更大的有效步长。这在处理稀疏特征时是优点，但在密集的 CV 或 NLP 特征下，它也放大了那些噪声主导的维度。

很多早期的实证工作观察到，Adam 找到的参数解往往位于更“尖锐”的极小值附近，而 SGD+Momentum 更容易落入“平坦”的极小值。平坦极小值对训练集和测试集之间的扰动更不敏感，泛化因此通常更好。虽然“尖锐 vs 平坦”与泛化关系的研究到现在仍有一些争议，但它给了我们一个非常实用的提醒：Adam 的自适应机制并不是免费的，它用部分泛化性能换来了训练效率和易用性。

相应地，如果你在图像分类这类密集特征任务上看到 Adam 训练集收敛很快、验证集却落后于 SGD，不要怀疑自己写错了代码，这很可能是优化器本身的泛化差距。

3.2 L2 正则与权重衰减在 Adam 中并不等价

这个坑是我认为整个 Adam 时代最重要、也最容易被忽略的细节。

在 SGD 里，L2 正则化（在 loss 里加 λ||θ||²）和权重衰减（更新时把参数整体缩小一点）数学上是等价的。因为 L2 的梯度项是 2λθ，直接加进梯度，再乘学习率，效果等同于先把参数缩一圈再做梯度更新。

但在 Adam 里，这个等价关系被彻底打破。Adam 的 L2 正则梯度是：

grad_with_l2 = grad + wd * theta

然后这个带正则项的梯度会被 m、v 统计并除以 sqrt(v)+eps。问题来了：正则项的强度被归一化了，而正则项本身在所有维度上都一样地加在 θ 上，但不同参数维度的历史梯度尺度完全不同。于是实际效果是：历史梯度大的参数，正则被严重削弱；历史梯度小的参数，正则却莫名其妙地增强。这完全违背了“均匀衰减权重”的初衷。

这也是为什么有人发现用 Adam 配 L2 正则时，模型该过拟合还是过拟合，甚至出现规律混乱。AdamW 的诞生，直接就是为了修正这个问题。

3.3 长训练下的两个副作用：步长失控与偏差修正失效

Adam 的另一个隐蔽问题出现在长训练中。由于 v 是滑动平均，如果某段时间某个参数的梯度突然变得很小，v 会滞后地跟着变小，而分母变小则会让后续步长瞬间放大；反过来，如果梯度突然放大，v 的响应不够快，又会导致这次更新过小。这种“步长不稳定性”在大模型训练后期特别让人头疼。

许多人还忽略了偏差修正的作用。m 和 v 初始都是零，如果不做修正，前几步的估计严重偏向零。Adam 的偏差修正在训练初期是必要保护。但如果你在长训练里用了学习率重启动之类的策略，重启后的步次计数是接着旧的 t 还是从 1 重新开始，会直接影响偏差修正的结果。我见过不少项目在这里吃了哑巴亏，曲线表现为重启后突然出现一次大抖动。

综合这些原因，我们会发现 Adam 需要那股“稳定且可控”的正则与步长控制，AdamW 正是在这个需求下成为事实标准的。

4. AdamW 修正了什么：解耦权重衰减的完整逻辑

4.1 关键改动，其实只差一步

AdamW 的思路极其简单：把权重衰减从梯度的计算里拿出来，不再作为 loss 的正则项加到梯度上，而是直接在参数更新之后，按照固定比例缩小参数:

m = beta1 * m + (1 - beta1) * grad v = beta2 * v + (1 - beta2) * grad^2 m_hat = m / (1 - beta1^t) v_hat = v / (1 - beta2^t) theta = theta - lr * m_hat / (sqrt(v_hat) + eps) theta = theta - lr * wd * theta

这样做的结果，是把“梯度优化”和“权重约束”两件事彻底分开。优化器只负责基于真实梯度更新参数，权重衰减单独作用于参数本身，不再受 m、v、sqrt(v)+eps 这一整套自适应统计量的干扰。每个维度的参数都被同等地、确定性地往零拉了一点。

这个“解耦”听起来只是实现细节，实际上是原则性的改变。它在数学上恢复了权重衰减应有的均匀性，也让“正则”不再依赖于梯度的绝对大小。对一个以百万、千万计参数的网络来说，这会让训练过程更可预测。

4.2 为什么解耦之后训练更稳、更好调参

我自己大量使用 AdamW 之后最直观的感受是：验证集曲线的尾段稳了很多。Adam 阶段最常见的病是“训练 loss 还在降，验证 loss 已经反弹”，因为正则强度在维度之间没法控制。AdamW 下，只要把 weight decay 固定在 0.01 到 0.05 之间，即使不做太多精细调整，尾段过拟合的速度也会明显变慢。

从调参角度解释：AdamW 把“更新步长”和“衰减强度”变成了两个互不干扰的旋钮。你想让模型收敛更快，就调学习率；你想让模型更不容易过拟合，就调 weight decay。两者不会互相打架。而在 Adam 里，调 weight decay 会影响梯度统计量，调学习率又会改变等效正则强度，旋钮之间牵一发动全身。

这种正交性对大规模训练特别重要。大规模训练经常需要在一个宽泛的超参范围内做网格或随机搜索，参数之间越独立，搜索效率越高。这也是为什么后来很多预训练和微调方案默认选择 AdamW，而不是传统 Adam。

4.3 AdamW 不是神奇药水：它改变的是“正则的确定性”

需要提醒的是，AdamW 并不一定在每个任务上都能取得比 Adam 更高的精度上限。它的核心优势是：在相同预算下，更容易找到稳定、可复现的好结果；在长时间训练下，更不容易因为正则失序而崩掉验证集。

它也不是对 weight decay 本身动了什么魔法。如果某个任务压根不需要强正则，那 AdamW 和 Adam 的差异就会很小。如果你在 AdamW 上依旧使用过大的 weight decay，同样会欠拟合，只是欠拟合的方式更温和、更容易从曲线里看出来。

有一点可以当作经验：当你从 Adam 切到 AdamW 时，重点观察验证集尾段，而不是前几百步的收敛速度。前段几乎一样快，尾段才是两者拉开差距的地方。

5. 实战策略：在不同任务里怎么选优化器与调参档位

5.1 选型原则：什么时候坚持 SGD，什么时候无脑 AdamW

很多人希望我给一张“任务-优化器”对照表，但我更想先给一条判断原则：看你的任务是否对泛化尾段敏感，以及你是否愿意花时间调收敛细节。

图像分类、目标检测、语义分割这类任务，SGD+Momentum 配合逐步衰减的学习率，依然是一个极其可靠的选择，尤其是当你有固定的训练 epoch、成熟的 baseline 时。SGD 的泛化能力经过多年验证，曲线行为稳定，出了问题容易排查。

Transformer、大规模预训练、微调、推荐系统、多模态对齐这些场景，AdamW 几乎是事实默认。原因在于这类模型参数尺度差异大、训练步数长、任务复杂，需要稳定的正则控制和相对通用的学习率设置。在微调场景下，AdamW 配上小学习率能快速适配下游任务，效果稳定。

如果你不确定该选哪一个，那就从 AdamW 出发，再在最终评估阶段和调好的 SGD baseline 对比一次。不要凭空想象“AdamW 一定弱于 SGD”，模型的规模、数据量、训练时长都会改变这个结论。

5.2 可直接照抄的初始配置表

以下配置是我在大多数项目中作为起点的档位，先跑到 20% 到 30% 的训练进度，再根据曲线微调，比从头搜索高效很多：

需要特别解释的是 SGD 的“按 batch size 线性缩放”。如果 baseline 是 batch size 256 时学习率 0.1，你把 batch size 翻倍到 512，学习率一般可以按比例调到 0.2 左右，同时前几个 epoch 做一个简单的 warmup 来吸收早期不稳定。这个规则不精确，但足够给你一个安全的起点。

5.3 warmup 与 cosine schedule：AdamW 的黄金搭档

AdamW 在实践里几乎总配 warmup。原因不在于“大家都这么做”，而在于训练初期一阶动量 m 和二阶动量 v 的统计量还没建立起来，偏差修正只能修正期望值，修正不了方差。早期步子容易过大、方向容易歪，warmup 把这些不稳定步数限制住，让统计量先形成一个可靠的估计。

warmup 时长没有一个标准答案。我常用的范围是总步数的 1% 到 10%。大模型预训练里，warmup 经常是几千步起；微调任务则 100 到 500 步就够。关键在于观察训练曲线：前几百步内如果 loss 出现明显尖峰或瞬间爆炸，多半是 warmup 太短或学习率太高。

衰减策略上，cosine 和线性衰减都行。cosine 的优点是后期衰减平滑，更适合长时间训练；线性衰减则简单直观。讲到学习率衰减，就必须提醒一个和 AdamW 有关的坑：基学习率和最终的衰减目标值不要设成 0。完全归零会让 weight decay 的相对作用在训练末段变得异常明显，有时会导致参数被过强地拉向零，出现“训练曲线看似收敛，但最终评测却差口气”的奇怪现象。我一般设到初始学习率的 1% 到 5%。

5.4 beta2 与 eps 不是默认值就完事：长训练与混合精度下的调整

beta2 默认 0.999 在绝大多数场景够用。但如果你的训练步数特别长，比如十万步以上，v 的历史跨度太大，分母对近期梯度的响应会变钝，偶尔会出现“收到大梯度但步长不够大”的问题。此时把 beta2 从 0.999 降到 0.98 或 0.95，能让二阶统计量更敏感，代价是会引入一点步长噪声。这个属于“出问题再调”的项，不要一开始就乱动。

eps 是在混合精度训练里最容易被坑的参数。默认 eps=1e-8 在 fp16 训练下经常制造灾难，因为 fp16 的数值动态范围有限，极小值和极大值的表示都不够精确，1e-8 级别的分母几乎触发下溢，结果就是训练后期 loss 突然变 NaN，或者梯度正常但参数长时间不更新。

在 fp16 混合精度训练里，我通常把 Adam/AdamW 的 eps 调到 1e-4 到 5e-4 之间。这个值既不影响正常收敛，又能防止数值溢出。有些框架在自动混合精度模式下会自动帮你处理，但如果你是自己手写训练循环，一定要手动检查 optimizer 构造时的 eps。跑 bf16 时情况稍好，但 eps 太小依然不值得冒险。

6. 复现与踩坑记录：框架差异、AMP 与优化器状态

6.1 weight_decay 在 Adam 与 AdamW 中的含义完全不同

这个坑我踩过不止一次，每次都是从一个老项目里复制训练代码，只改了优化器名称，然后发现结果对不上。归根结底是框架 API 里 weight_decay 这个参数在不同优化器下的语义不同。

在 Adam 中，传入 weight_decay 等价于在 loss 梯度上追加 L2 正则项；在 AdamW 中，它是解耦的权重衰减，不参与梯度统计。如果你把旧的 Adam 训练脚本直接换成 AdamW，且没有重新审视 loss 里是否还有手工添加的 L2 正则，就会出现双重衰减，模型欠拟合，而且曲线还看不出明显异常，只是最终精度莫名其妙地掉了。

所以迁移代码时建议做三件事：第一，检查 loss 是否包含手工 L2；第二，确认优化器构造参数里 weight_decay 的语义；第三，把基线模型分别用 Adam 和 AdamW 各训一次，比较中段和尾段曲线，而不是只看最终精度。这个对照能在项目初期就帮你排除大量干扰。

6.2 混合精度下会被忽略的 eps 问题

有一次某个文本生成项目训练到一半突然 NaN，所有人都以为是数据里有非法字符，把数据清洗了整整一轮，结果还是崩。后来我打印了更新前后的梯度统计，发现 fp16 下的二阶动量 v 的数值过于接近零，在除以 sqrt(v)+eps 时产生了下溢。

定位流程其实很简单：在每次 step 后记录 m、v、更新量的 min/mean/max。如果 v 的最小值长期低于 1e-6，同时更新量出现诡异的 0 或 inf，基本就是数值精度问题。这时候把 eps 从 1e-8 提到 1e-4，NaN 一般就消失了。

需要特别说明的是，混合精度下优化器的状态也要以 fp32 保存。很多库默认这样做，但自定义训练循环里很容易忽略：如果你把 adam 的 m 和 v 也放在了 fp16 下，统计精度会进一步恶化，步长放大现象会更明显。正确做法是参数可以转 fp16 参与前向，但优化器状态保持 fp32。

6.3 断点续训丢优化器状态，后续曲线彻底走样

模型训练的中间结果可以存，可以丢，但优化器状态不能随便丢。这一点在 Adam 和 AdamW 上尤其明显。因为 m 和 v 包含了从训练开始到当前时刻的全部历史统计，一旦丢失，再加载模型权重继续训练时，优化器会以为是从零开始，重新积累统计量。

实际表现是：恢复训练后的前几百步 loss 会突然往下冲一下或者震荡，随后曲线慢慢恢复到正常，但最终效果很难达到不中断训练时的水平。更隐蔽的情况是框架版本升级后，优化器状态张量的顺序或形状变了，加载时没有报错但部分 state 被丢弃，中期实验被人为污染。

我的建议是：保存 checkpoint 时，除了 model 权重，一定把 optimizer.state_dict() 也存下来；恢复训练前，抽样对比保存时的 m、v 统计量与当前计算结果，确保它们没有丢失。如果你实在无法恢复优化器状态，那宁可从头开始训练，也别硬接一个中断过的模型，否则后面的调参结论全是错的。

6.4 从一次“精度差 0.4”的复现看 weight decay 与学习率衰减的联动

最后说一个比较微妙的坑，它发生在 learning rate schedule 和 weight decay 的联动上。某个模拟项目 X 在复现 baseline 时，验证集分数始终差 0.4 个点。代码、数据、增强方式都对齐了，最后发现是学习率衰减时把 weight decay 也一起缩放掉了。

在 SGD 的常见写法里，有些实现会把 weight decay 放进“有效学习率”里，写成 lr*(grad + wd*theta)，所以学习率衰减时，正则强度也会跟着一起衰减。但在 AdamW 里，weight decay 是解耦的，它不应该被 schedule 缩放。如果你沿用旧的“衰减因子同时乘到 lr 和 wd”的习惯，训练后期正则强度会逐渐趋近于零，模型过拟合风险上升，最终精度就差出了那么零点几个点。

这个问题的典型特征是：训练中段两条曲线几乎重合，尾段验证 loss 逐渐拉开。排查时盯住两个量：学习率随 step 的真实值，以及 weight decay 随 step 的真实值。把它们打印到日志里，一眼就能看出是否被误缩放。从那之后，我所有项目都会在日志里同时记录 lr 和 wd，作为最基本的健康检查。

最后一点建议

优化器选型不是“哪个更好”的问题，而是“这个任务的尾段更依赖什么”的问题。我个人现在最常用的组合是：视觉任务先抄 SGD+Momentum 的成熟 baseline，文本和多模态任务直接 AdamW，并且无论哪个，都会在日志里记录梯度的二阶统计量。把 m、v、参数量级的曲线打印出来，很多诡异问题都能提前发现，而不是等到验证集出了偏差再去猜。下次当你换优化器时，记得看的不只是训练曲线，还有那些统计量背后的规律。