PyTorch正则化实战：权重衰减、Dropout与训练流程全解析

正则化这三个字在 PyTorch 项目里出现的频率，几乎和loss.backward()一样高，但真正能把它用对的人并不多。大多数人写训练脚本时的动作是：weight_decay=1e-4写上，nn.Dropout(0.5)加上，然后就默认自己做过正则化了。等模型在验证集上开始飘，再回头加更多的东西，最后把网络调成一锅粥，还说不清是哪一项起了作用。这篇文章想做的事情很直接：把 PyTorch 里能称作"正则化"的手段一次性摊开，讲清楚每一种背后在干什么、代码里怎么写、以及在什么数据规模、什么模型结构、什么训练阶段该用它。不管你是刚跑通第一个 MNIST 的新手，还是在为大模型微调时 loss 曲线发愁的熟手，下面这些内容都能直接抄到你的训练脚本里。

需要先明确一个前提：正则化在 PyTorch 里从来不是某一个 API，而是一组分散在损失函数、网络层、优化器、数据管道和训练循环里的技巧。它们唯一的共同点，是都在对抗同一件事——模型把训练集背下来了。所以我会按"它在哪里介入训练"来分类，而不是按教科书那种 L1/L2 的数学分类，这样你在改代码的时候能更快对上号。

1. 先搞清楚过拟合在 PyTorch 里长什么样，再谈该加什么

很多讨论正则化的文章一上来就列方法，我倾向于反过来。因为你只有先认出过拟合的具体形态，才知道该加哪一味药。PyTorch 的训练循环给了你非常多的观测点，但多数人只盯着train_loss和val_loss两个数字，这就把问题简化过头了。

1.1 三种典型曲线形态对应的不同病因

第一种是训练损失一路下滑逼近 0，验证损失在某个 epoch 之后反弹上升，两者形成明显的喇叭口。这是最标准的过拟合，模型容量相对数据量过剩，加权重衰减、Dropout 或者数据增强都会有明显收益。第二种是训练损失和验证损失同时很高，且贴得很近，这不是过拟合而是欠拟合，你这时候加正则化只会让情况更糟，应该先考虑加容量、调学习率或者检查数据标注。第三种比较隐蔽：两个损失都在降，但验证集上的关键指标（比如 mAP、F1、AUC）早就不涨甚至开始掉了。这种情况在类别不平衡的任务里特别常见，模型在优化一个和你真正关心的指标不完全一致的目标，这时候该动的是损失函数和采样策略，而非简单地往网络里塞 Dropout。

我自己的习惯是在训练脚本里同时记录train_loss、val_loss、验证指标、以及梯度的范数。梯度范数这个量很多人不记录，但它对判断"正则化是不是加过头了"非常有用——当你发现grad_norm长期处在极低的值，而训练损失又降不下去，基本可以判断是权重衰减或者梯度裁剪把模型压死了。

1.2 PyTorch 里正则化介入训练的五条路径

与其记方法名，不如记路径。第一条是优化器路径，weight_decay参数就挂在这里，它在参数更新时起作用。第二条是损失路径，你在loss后面手工加惩罚项，或者给CrossEntropyLoss传label_smoothing。第三条是网络结构路径，nn.Dropout、nn.BatchNorm2d、Stochastic Depth 这类层在前向传播时引入随机性或归一化。第四条是数据路径，torchvision.transforms里那一堆随机变换、Mixup、CutMix都是从这里进来的。第五条是训练流程路径，Early Stopping、EMA、SWA、梯度裁剪，它们不改模型结构也不改损失，改的是你怎么用这些梯度。

这个划分的价值在于：当你要做消融实验或者排查问题时，能快速定位该关掉哪一块。我见过不少人把 Dropout、weight decay、数据增强同时上新，效果变好了却说不清是谁的功劳，结果换到另一个数据集上照搬参数就翻车——因为新数据集可能根本不需要那么多正则化。

1.3 一个常被忽略的前提：正则化的强度要和训练预算匹配

这一点很少被写进文档。正则化的本质是给优化过程增加约束，而约束生效需要足够的迭代次数去"消化"。你在一个只训练 10 个 epoch 的小实验里设weight_decay=1e-2，模型根本来不及在约束下找到好的解，表现出来的就是欠拟合。反过来，在需要训练几百个 epoch 的大任务里，1e-4 的权重衰减可能几乎不起作用。

经验上的做法是：先不加任何正则化，把模型训到过拟合，看清楚它的上限在哪，然后再逐项加入，每次只加一项并观察验证曲线的变化。这个过程虽然笨，但它是唯一能让你对参数建立直觉的方式。跳过这一步直接抄别人的超参，你永远不知道该往哪个方向调。

2. 权重衰减与 L1/L2：最容易被误用的那个默认选项

weight_decay是 PyTorch 优化器里最容易被无脑填上的参数，也是误解最多的一项。很多人以为它等价于 L2 正则，这在 SGD 下基本成立，但在 Adam 系列优化器下就不成立了。更麻烦的是，很多人把权重衰减作用到了所有参数上，包括 bias 和 BatchNorm 的缩放参数，这就属于典型的"用错了还以为在做正则化"。

2.1 weight_decay 到底在更新公式里做了什么

在torch.optim.SGD里，weight_decay的实现是把梯度改成g + λw，然后按w = w - lr * (g + λw)更新。这确实等价于在损失里加λ/2 * ||w||²，因为那一项的梯度就是λw。这就是经典的 L2 正则。

但在torch.optim.Adam里，weight_decay是把λw加到梯度上之后再走 Adam 的一阶、二阶动量归一化。这意味着惩罚项会被自适应学习率缩放，权重大的参数受到的衰减反而不一定大，效果和真正的 L2 相去甚远。这也是AdamW被提出来的原因：它把衰减从梯度里拆出来，直接乘在参数上，w = w - lr * (adam_update + λw)，做到解耦。

实际选型上，如果你用的是 Adam 系，直接换AdamW，别在Adam(weight_decay=...)上纠结。这是我在多个视觉和 NLP 任务上反复验证过的结论，AdamW在同样的weight_decay数值下通常给出更稳定的泛化表现，尤其是在微调预训练模型的时候。

# 推荐写法：AdamW + 参数分组 decay_params, no_decay_params = [], [] for name, param in model.named_parameters(): if not param.requires_grad: continue # bias 和归一化层的仿射参数不进衰减 if param.ndim <= 1 or name.endswith(".bias"): no_decay_params.append(param) else: decay_params.append(param) optimizer = torch.optim.AdamW( [ {"params": decay_params, "weight_decay": 0.01}, {"params": no_decay_params, "weight_decay": 0.0}, ], lr=3e-4, )

2.2 为什么 bias 和 Norm 层参数不该被衰减

这是个值得展开讲的细节，因为它解释了上面那段参数分组的动机。bias 的作用是给激活值做平移，它不控制模型的复杂度，衰减它只会让模型更难拟合数据的整体偏移。想象一下你的数据均值不在 0 附近，衰减 bias 相当于强行把模型往原点拽，模型得花额外的容量去对抗这个拉力，纯属内耗。

归一化层的weight和bias更特殊。BatchNorm的weight初始值是 1，它控制的是归一化后特征的缩放。如果对它做权重衰减，等于不断地把缩放系数往 0 拉，归一化的效果会被削弱，深层网络尤其容易出现训练不稳。这类参数数量很少，衰减它们带来的正则化收益微乎其微，风险却实实在在。

一个实用的判断规则：维度大于 1 的参数才考虑衰减。卷积核是 4 维，线性层权重是 2 维，这些是真正控制表达能力的；bias 是 1 维，Norm 层的weight也是 1 维，全部排除。上面代码里的param.ndim <= 1就是这个意思。

2.3 L1 正则为什么在 PyTorch 里没有现成开关

PyTorch 的优化器只提供了weight_decay，也就是 L2。想让模型产生稀疏性、做特征选择，你得自己把 L1 项加进损失里：

def l1_penalty(model, exclude_norm=True): total = 0.0 for name, p in model.named_parameters(): if not p.requires_grad: continue if exclude_norm and (p.ndim <= 1): continue total = total + p.abs().sum() return total loss = criterion(logits, target) + 1e-5 * l1_penalty(model) loss.backward()

这里有几个坑必须提醒。第一，1e-5这个系数要和你的主损失量级匹配，如果你的CrossEntropyLoss在 2.0 左右，L1 项在几十甚至上百的量级（因为要对所有参数求和），那这个系数必须压得很小，否则训练会直接崩。第二，L1 在 0 点不可导，PyTorch 里abs()在 0 处的梯度是 0，所以实际优化出来的解不会像理论那样精确稀疏，别指望它能帮你把特征数精确降到某个值。第三，L1 和 AdamW 的自适应学习率配合时行为比较怪，稳妥的做法是 L1 配合 SGD 动量使用，或者用近端算子类的优化器。

我个人的态度是：L1 在现代深度网络里用得比 L2 少得多，它更适合线性模型、浅层网络、或者明确需要可解释性的场景。深度模型想要稀疏性，剪枝、结构化稀疏训练这些手段比 L1 更直接可控。

3. Dropout 家族：位置、概率与推理一致性

如果只能保留一种正则化手段，我会选 Dropout，因为它的性价比最高、最不需要调参、适用范围最广。但 Dropout 也是"会用"和"用对"之间差距很大的一项，重点不在加不加，而在加在哪、p 取多少、以及有没有在推理时正确关掉。

3.1 nn.Dropout 与 F.dropout 的行为差异

nn.Dropout是模块，注册在model.modules()里，会随着model.train()/model.eval()自动切换开关。torch.nn.functional.dropout是函数，需要你手动传training=self.training，忘了传的话它在评估阶段仍然会随机丢神经元，导致你的推理结果每次都不一样——这个 bug 我在别人的代码里见过不止一次，而且因为结果只是"略微抖动"，很难第一时间发现。

还有一个细节：PyTorch 的 Dropout 在训练时会把保留的激活值除以1-p，这叫 inverted dropout，保证训练和推理的期望一致。所以推理时你不需要做任何缩放，直接model.eval()就行。有些人还在推理前手动乘(1-p)，那是老式实现的习惯，在 PyTorch 里属于画蛇添足，会让输出整体偏小。

class Net(nn.Module): def __init__(self, p=0.2): super().__init__() self.fc1 = nn.Linear(768, 256) self.drop = nn.Dropout(p) # 用模块，别用函数 self.fc2 = nn.Linear(256, 10) def forward(self, x): x = F.relu(self.fc1(x)) x = self.drop(x) # train/eval 自动切换 return self.fc2(x)

3.2 结构化的变体：Dropout2d、Dropout3d 与 SpatialDropout

通道维度的 Dropout 在卷积网络里比普通 Dropout 更有效。nn.Dropout2d会按通道整张特征图地丢弃，而不是逐元素丢。这样做的理由是卷积特征图的相邻像素高度相关，逐元素丢的话信息会从邻居那里"漏"回来，正则化效果被稀释；整通道丢才能真正逼迫网络学到冗余的表征。

输入形状要注意：nn.Dropout2d期望(N, C, H, W)。如果你在做序列任务，输入是(N, L, D)，要么用nn.Dropout1d（形状(N, C, L)），要么干脆先transpose再丢。这个形状要求在 1D 卷积和 Transformer 混用的模型里经常被忽略，结果就是 Dropout 静默地按错误维度工作，没报错但效果打折。

至于 Stochastic Depth（也叫 DropPath），它是把整个残差块随机跳过，在 ResNet、ViT 这类深层结构里效果显著。它的直觉是：深层网络里有大量冗余层，随机跳过一部分相当于训练了一个隐式的子网络集成，而且因为跳过的层不参与前向和反向，还能省算力。实现上要注意必须只在训练时启用，且通常和层深度挂钩，浅层少丢深层多丢：

def drop_path(x, drop_prob: float, training: bool): if drop_prob == 0.0 or not training: return x keep = 1 - drop_prob shape = (x.shape[0],) + (1,) * (x.ndim - 1) mask = x.new_empty(shape).bernoulli_(keep) return x * mask / keep

3.3 p 到底取多少，以及放在哪些位置

这是实操中最常被问的问题。我的经验值：全连接层之间p=0.2~0.5，卷积层之后p=0.1~0.3，Embedding 之后p=0.1~0.2，Transformer 的 attention 和 FFN 之间通常p=0.1。大模型微调时，Dropout 往往还要再降，因为预训练权重已经很稳，太强的随机性反而破坏它。

位置的判断标准是：Dropout 放在非线性激活之后、下一层线性变换之前。放在激活之前也行，效果差别不大，但不要放在最终的输出层之前还设大 p 值，那会让 logits 的方差过大，配合交叉熵容易训不动。

还有一个反直觉的点：Dropout 和 BatchNorm 同时使用时，两者的统计量会互相干扰。训练时 Dropout 让激活值的方差随批次波动，BatchNorm 的 running mean/var 估计变得更不稳。稳妥的做法是卷积主干用 BatchNorm 不用 Dropout，全连接头用 Dropout 不用 BatchNorm，两者在空间上分开。如果你确实要混用，把 Dropout 放在 BN 之后，别再放它前面。

4. 归一化层与隐式正则：那些"不算正则化的正则化"

BatchNorm、LayerNorm、GroupNorm 这些层严格来说不是正则化，它们的设计初衷是稳定训练、加速收敛。但实践中它们确实能提升泛化，原因在于每个 batch 的统计量都带噪声，前向传播时引入的这点随机性起到了类似 Dropout 的效果。有些论文专门研究过这件事，结论是 BN 的正则效应在 batch size 较小时更明显。

4.1 BatchNorm 的隐式正则与其代价

nn.BatchNorm2d在训练时用当前 batch 的均值和方差做归一化，同时用滑动平均更新running_mean和running_var；推理时用这两个滑动统计量。这个机制带来两个后果：一是训练和推理的行为不一致，二是 batch size 太小的时候统计量噪声过大，模型性能会明显下降。

后者是实际部署时的大坑。你在训练时用 256 的 batch，推理时 batch 变成 1，如果直接model.eval()其实没问题，但如果你忘了切 eval 模式，BN 会用单样本的均值方差去归一化，输出必然是错的。还有一类问题出现在分布式训练里，BatchNorm2d默认只在单卡内统计，多卡时等效 batch 变小，这时候应该换nn.SyncBatchNorm：

model = nn.SyncBatchNorm.convert_sync_batchnorm(model) model = nn.parallel.DistributedDataParallel(model, device_ids=[local_rank])

要注意convert_sync_batchnorm必须在包 DDP 之前调用，顺序反了不生效。而且转换之后模型参数名会变（多了bn前缀之类），如果你有预训练权重加载逻辑，得处理 key 的映射。

4.2 什么时候该换成 LayerNorm 或 GroupNorm

判断依据是 batch size 和你对训练/推理一致性的要求。目标检测、分割这类任务因为输入分辨率不固定，batch 往往开不大，BN 的统计量不稳，这时候换成 GroupNorm 通常能带来明显提升。Transformer 类结构天然用 LayerNorm，因为它对序列长度和 batch 都不敏感。

至于 Weight Standardization 和 Spectral Normalization，前者是把权重标准化后再做卷积，能替代 BN 的部分作用同时避免 batch 依赖；后者控制权重矩阵的谱范数，在 GAN 的判别器里几乎是标配。这两个属于进阶手段，普通分类任务用不上，但如果你在做生成模型或者对训练稳定性要求极高，值得了解。

5. 标签层面的正则化：Label Smoothing、Mixup、CutMix

前面几类动的都是模型和参数，这一类动的是监督信号本身。它们的共同思路是：不要给模型一个"绝对正确"的目标，让它对正确答案保留一点不确定性。这在标签可能有噪声、或者类别之间存在语义关联的任务里收益很大。

5.1 Label Smoothing 的一行实现与适用边界

PyTorch 从 1.10 开始，nn.CrossEntropyLoss直接支持label_smoothing参数：

criterion = nn.CrossEntropyLoss(label_smoothing=0.1)

它的作用是把 one-hot 标签[0, 0, 1, 0]变成[0.033, 0.033, 0.9, 0.033]（以 4 类、ε=0.1 为例），模型不再被要求把正确类别的 logit 推到无穷大。副作用是模型的置信度校准更好，预测概率更接近真实准确率，这在需要做阈值判断或者给下游系统提供概率的场景里很有价值。

但它不是万能的。在类别极度不平衡的任务里，标签平滑会进一步压缩少数类的监督信号，可能适得其反。另外在蒸馏任务里，如果你要用教师模型的软标签，就不该再对学生加 label smoothing，两者叠加会让目标过于平滑，学生学不到尖锐的决策边界。

5.2 Mixup 与 CutMix：把数据增强做到损失函数里

这两种方法的共同点是混合两个样本及其标签，区别在于混合方式。Mixup 是在像素层面做线性插值，CutMix 是裁剪一块区域贴上去并按面积比例混合标签。

def mixup_batch(x, y, alpha=0.2, num_classes=10): lam = np.random.beta(alpha, alpha) idx = torch.randperm(x.size(0), device=x.device) mixed_x = lam * x + (1 - lam) * x[idx] y_onehot = F.one_hot(y, num_classes).float() mixed_y = lam * y_onehot + (1 - lam) * y_onehot[idx] return mixed_x, mixed_y # 训练循环里配套用软标签损失 logits = model(mixed_x) loss = -(mixed_y * F.log_softmax(logits, dim=1)).sum(dim=1).mean()

参数alpha控制混合强度的分布，越小越倾向于取接近 0 或 1 的lam，也就是混合得越"轻"。分类任务上常用的范围是 0.2 到 1.0，检测和分割任务上 Mixup 用得很少，因为框和掩码没法做线性插值。

CutMix 相对更适合视觉任务，因为它保留了局部区域的真实像素，不会产生自然界不存在的混合纹理。实现上需要计算裁剪框的坐标并按面积算lam，代码稍长，但很多训练框架里都有现成的封装。

我要强调一个实践中的观察：这两种方法在数据量充足、模型本身已经很强的场景下，收益会明显衰减，甚至会拖慢收敛。它们真正发光的地方是小数据集、以及需要强泛化的竞赛类任务。如果你只有几千张图，Mixup 加上适度的数据增强，效果往往比调网络结构更显著。

6. 训练流程层面的正则化：Early Stopping、EMA、SWA 与梯度裁剪

这一类的特点是完全不动模型定义，只改训练循环怎么写。好处是随时可以开关，坏处是它们容易被忽略，因为不体现在网络结构里。

6.1 Early Stopping 的正确写法

Early Stopping 的逻辑很简单：验证指标连续 N 个 epoch 没提升就停。但写对有两个细节。第一，监控的指标要和你的最终目标一致，分类任务别只盯 loss，看准确率或者 F1；第二，保存的是"最佳 epoch"的权重，而不是最后 epoch 的权重：

best_score, best_state, patience_counter = -1.0, None, 0 PATIENCE = 8 for epoch in range(EPOCHS): train_one_epoch(model, loader, optimizer, criterion) score = evaluate(model, val_loader) if score > best_score + 1e-4: best_score = score best_state = {k: v.detach().clone() for k, v in model.state_dict().items()} patience_counter = 0 else: patience_counter += 1 if patience_counter >= PATIENCE: break model.load_state_dict(best_state)

1e-4这个最小改善阈值很重要，没有它的话验证指标的微小抖动会不断重置计数器，patience 形同虚设。另外best_state必须用clone()做深拷贝，直接存state_dict()拿到的是引用，后续训练会把它改掉——这个坑非常隐蔽，我第一次踩的时候排查了大半天。

6.2 EMA 与 SWA：在参数空间做平均

指数滑动平均（EMA）维护一份模型参数的滑动副本，用shadow = decay * shadow + (1 - decay) * param更新。它在训练末期几乎不花额外算力，却能稳定提升一两个点，在检测、分割、自监督这些任务里几乎是标配。decay一般取 0.999 到 0.9999，训练步数越多取越大。

class ModelEMA: def __init__(self, model, decay=0.999): self.decay = decay self.shadow = {k: v.detach().clone() for k, v in model.state_dict().items()} @torch.no_grad() def update(self, model): for k, v in model.state_dict().items(): if v.dtype.is_floating_point: self.shadow[k].mul_(self.decay).add_(v.detach(), alpha=1 - self.decay) else: self.shadow[k].copy_(v)

SWA（随机权重平均）思路不同，它是在训练的后段每隔若干步采一次权重做等权平均，配合一个周期性变化的学习率效果更好。PyTorch 有官方封装torch.optim.swa_utils，用起来不复杂：

from torch.optim.swa_utils import AveragedModel, SWALR, update_bn swa_model = AveragedModel(model) swa_scheduler = SWALR(optimizer, swa_lr=0.05) for epoch in range(SWA_START, EPOCHS): train_one_epoch(model, loader, optimizer, criterion) swa_model.update_parameters(model) swa_scheduler.step() # 关键一步：重估 BN 统计量 update_bn(loader, swa_model, device="cuda") torch.save(swa_model.state_dict(), "swa.pth")

update_bn这一步千万别漏。SWA 平均后的权重对应的激活分布和原始权重不同，不重新跑一遍前向更新 BN 的 running 统计量，推理效果会明显掉。

6.3 梯度裁剪：它不是正则化，但常常被当成正则化用

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)的本来目的是防止梯度爆炸，在 RNN 和 Transformer 训练里几乎是必需品。它确实能间接起到稳定训练的作用，但它不改变模型的解空间，严格说不算正则化。

真正需要注意的是裁剪阈值的选择。max_norm=1.0是在大批 NLP 任务上被验证过的默认值，但如果你在训练视觉模型，梯度范数本来就在 0.1 到 10 之间波动，机械地设 1.0 会把大部分梯度都截掉，训练变得极慢。稳妥做法是前几百步先记录梯度范数的分布，取 95 分位数左右作为阈值。

7. 数据增强：投入产出比最高的一类正则化

如果让我在有限时间里只优化一件事，我会选数据增强而不是调正则化参数。原因是它扩充了有效的数据分布，从根上缓解过拟合，而其他手段都只是在约束模型。

7.1 增强强度的判断依据

增强太弱没效果，太强会引入分布偏移导致训练困难。一个我常用的判断方法：用增强后的数据训练一个小模型，如果它在干净验证集上的准确率明显低于用弱增强训练的同类模型，说明增强过头了。另一个信号是训练损失下降异常缓慢，且长时间卡在高位。

图像分类的常见组合是RandomResizedCrop+RandomHorizontalFlip+ColorJitter（轻度）+RandomErasing。注意RandomHorizontalFlip在文字识别、方向敏感的任务里绝对不能用，ColorJitter在医学影像、工业质检这类对色彩敏感的场景要慎用或去掉。这些细节做不到位，增强就是在破坏标签信息。

7.2 什么时候该用更强的增强

当你的模型已经很大、数据相对不足，弱增强已经无法阻止过拟合时，就该上 RandAugment、AutoAugment 这一档。它们通过随机组合多种变换和随机强度，在 ImageNet 级别的任务上能带来明显提升。代价是训练变慢，而且需要更长的训练周期才能收敛——增强强了，等效 epoch 数要相应增加。

一个实操建议：调增强的时候，把num_workers和persistent_workers=True一起设上，否则每个 epoch 重新起进程的开销会吃掉大量时间，让你误以为是增强本身太慢。

loader = DataLoader( dataset, batch_size=64, shuffle=True, num_workers=8, pin_memory=True, persistent_workers=True, drop_last=True, )

drop_last=True在训练集上建议开，因为 BN 遇到尺寸为 1 的最后一个 batch 会报错或者统计量异常；而pin_memory=True配合non_blocking=True的.to(device)能进一步减少数据传输开销。

8. 组合策略：不同场景下我会怎么配

理论讲完，落到具体场景才有意义。下面这张表是我在几类常见任务上的默认起点，注意是起点不是终点，实际还得看你自己的验证曲线调整。

大模型微调那一栏的权重衰减看起来很大，但注意它作用在前缀参数上，配合很小的学习率，实际效果是防止预训练权重被少量数据带偏。这个数值在 LoRA 这类参数高效微调里尤其常见，因为可训练参数很少，衰减过小几乎不起作用。

还有一个组合上的经验：不要同时把 Dropout、权重衰减、强数据增强都拉到高档位。三者叠加时，模型的拟合能力被三重削弱，很容易陷入欠拟合，而欠拟合的表现和过拟合在曲线上一开始很像，你会误判方向继续加码。正确的做法是一个一个加，每次观察验证集是否真的改善。

另外补充一个容易被忽略的点：正则化强度的最优值会随训练长度变化。短训练适合弱正则化，长训练适合强正则化。你从别人那里抄来的weight_decay=5e-2，很可能是在 300 epoch 的设置下调出来的，你只训练 30 epoch 就用这个值，模型大概率学不动。

9. 排查实录：正则化相关的典型症状与处理

下面这些是我在实际调模型时反复遇到的，按症状整理成速查表，遇到问题可以直接对号入座。

表格之外，再补三个不在表里的经验。

第一，验证集本身也会被"过拟合"。如果你反复根据验证集调正则化参数，调了几十次之后，验证集上的表现就不再可信了。稳妥做法是留一个测试集完全不参与调参，或者用交叉验证来估计真实性能。我见过不少人报告的成绩比实际部署时高出好几个点，原因就在这里。

第二，正则化的效果和随机种子强相关。在小数据集上，p=0.3和p=0.5的差异可能被种子带来的波动完全淹没。判断某个改动是否真的有效，至少跑三个种子取平均，否则你调的可能只是噪声。

第三，日志要记全。每次实验至少记录：使用的正则化组合及参数、训练轮数、最终验证指标、最佳 epoch。不记录的话，一周之后你完全想不起来哪个配置对应哪个结果，前面所有的调参都白做。我习惯在训练脚本里把超参直接 dump 成 json 存到输出目录，配合 TensorBoard 一起看，回溯起来非常方便。

最后分享一个我最近比较喜欢的做法：把正则化配置做成可组合的开关，用配置文件控制每一项的开关和强度，训练时通过命令行覆盖。这样跑消融实验的时候只需要改一行参数，不用动代码，配合上面说的种子重复，能很快摸清每个手段在你这个任务上的真实贡献。这比凭感觉堆参数要靠谱得多，也是我踩了无数坑之后固定下来的工作流。