深度学习基础知识复习指南：从张量到优化器的系统梳理

1. 为什么“复习”比“学新”更值得花时间

做深度学习这行的人，几乎都有过一种错觉：模型能跑通、loss能下降、指标能刷上去，就代表自己“会了”。直到某天线上推理延迟突然翻倍、显存莫名其妙爆掉、或者换了个数据集指标直接崩盘，才发现自己脑子里那套知识是散的，像一堆没接线的零件，平时看着挺多，真要用的时候一个都调不出来。

“深度学习基础知识复习”这个标题，乍看像是学生考前抱佛脚，实际上它更像是一次系统性的“知识体检”。它要解决的核心问题不是“我不会”，而是“我以为我会，但我说不清为什么”。适合看这篇内容的人有三类：一是入行一两年的算法工程师，能调库能跑实验，但被问到反向传播的链式法则细节时会卡壳；二是从其他方向转过来的开发者，比如后端、数据分析转模型训练，工程能力强但数学直觉弱；三是准备面试或者做技术分享的人，需要把零散的知识点串成一条能讲清楚的线。

我自己的经历是，真正让我水平上一个台阶的，不是又学了一个新模型，而是把基础重新捋了一遍。那次是因为一个很蠢的bug：我在一个多分类任务里用了均方误差，训练半天不收敛，排查了两天才反应过来交叉熵和MSE在梯度上的本质区别。从那以后我就养成了一个习惯，每隔一段时间就把基础过一遍，不是从头看书，而是带着问题去复习。

这篇内容我会按“设计思路—核心细节—实操过程—问题排查”这条线来展开，尽量把每个知识点背后的“为什么”讲透，而不是只丢结论。你如果时间紧，可以挑自己薄弱的部分看；如果时间够，建议顺着读，因为很多坑是连在一起的。

2. 复习的整体设计与思路拆解

2.1 复习不是重读教材，而是重建索引

很多人复习深度学习的方式是打开一本教材从第一页翻起，看到卷积就跳过，看到RNN觉得反正用得少也跳过，最后翻完一遍发现什么都没记住。这种复习的问题在于它是“线性”的，而知识在脑子里应该是“网状”的。真正有效的复习，是重建索引：把每个知识点挂到它该在的位置上，知道它解决什么问题、和谁有关、什么时候会用到。

我的做法是把整个基础知识分成四层。最底层是数学基础，包括线性代数、概率论、微积分里和深度学习直接相关的部分。往上一层是核心概念，比如张量、计算图、梯度、损失函数、优化器。再往上是模型结构，全连接、卷积、循环、注意力。最上面是训练技巧和工程实践，包括初始化、正则化、归一化、学习率调度、混合精度。这四层不是孤立的，复习的时候要来回跳：看到一个训练不收敛的现象，往下追是优化器问题，再往下追可能是梯度消失，再往下追是激活函数选择或者初始化方式。

提示：复习时不要按教材章节顺序走，按“问题—现象—原理—解决”的链路走，记忆效率会高很多。

2.2 为什么选择“自顶向下”而不是“自底向上”

自底向上是从数学推导开始，把每个公式证一遍，再往上搭。这种方式适合第一次学，但不适合复习。复习的目的是快速定位和调用，所以应该自顶向下：先看一个具体场景，比如“为什么BatchNorm能加速训练”，然后往下挖到它的归一化公式、可学习参数、训练和推理阶段的差异，最后再回到场景解释它为什么有效。

这种方式的优势是每个知识点都有“挂钩”，你记住的不是一个孤立公式，而是一个问题的答案。缺点是容易漏掉一些暂时用不上的细节，所以我会在自顶向下走完之后，再补一轮自底向上的查漏，专门看那些“知道但说不清”的地方。

2.3 复习的产出物应该是什么

复习不能只是“看了一遍”，得有产出。我的产出物通常有三样。第一是一张手写的知识地图，A4纸横过来画，中间是核心概念，四周是关联知识点，用箭头标出因果关系。第二是一份“踩坑清单”，记录每个知识点我曾经犯过的错，比如“忘了在验证阶段调用eval()导致dropout还在生效”。第三是一组最小可运行代码片段，每个核心概念配一段十几行的代码，能跑、能改、能验证。

这三样东西的价值在于，它们是你自己的语言，不是教材的语言。下次再复习的时候，看自己的地图和清单，十分钟就能把状态找回来。

3. 核心细节解析与实操要点

3.1 张量与计算图：一切从“数据怎么流动”开始

深度学习的本质是张量在计算图上的流动。复习这一块，重点不是记住张量的定义，而是理解三个东西：形状、设备、梯度。

形状这块，最常见的坑是广播机制。两个形状不同的张量相加，PyTorch会按规则自动扩展，但扩展的方向和结果经常和直觉不符。比如形状(3,1)和(1,4)相加得到(3,4)，这个没问题；但形状(3,)和(3,1)相加，结果可能是(3,3)，这就容易出bug。我的经验是，凡是涉及广播的地方，显式地用unsqueeze或者expand把形状写清楚，别偷懒。

设备这块，CPU和GPU之间的搬运是性能杀手。我见过一个项目，训练循环里每次迭代都把数据从GPU搬回CPU算一个指标，再搬回去，整体速度慢了四倍。复习的时候要养成习惯：数据加载完就放到目标设备，中间所有计算都在同一设备上，最后需要记录的时候再统一搬。

梯度这块，核心是理解requires_grad和计算图的构建与释放。默认情况下，只有叶子节点且requires_grad=True的张量才会被追踪。中间变量的梯度默认不保存，需要的话得用retain_grad()。还有一个经典坑：在验证或推理时忘了用torch.no_grad()，导致显存持续增长，因为计算图一直在建。

import torch # 正确做法：训练用grad，验证用no_grad model.train() with torch.enable_grad(): output = model(x) loss = criterion(output, y) loss.backward() model.eval() with torch.no_grad(): output = model(x)

注意：model.eval()只改变dropout和batchnorm的行为，不关闭梯度。关闭梯度必须用torch.no_grad()，两者要配合使用。

3.2 损失函数：选错一个，训练白费

损失函数是很多人复习时最容易跳过的地方，因为觉得“不就是那几个吗”。但恰恰是这里，藏着最多“看起来能跑但效果不对”的问题。

分类任务用交叉熵，回归任务用均方误差，这是常识。但常识背后的原因是梯度。交叉熵配合softmax，梯度是预测值减去真实值，形式简洁且数值稳定；MSE配合sigmoid，梯度里会多一个sigmoid导数项，当预测值接近0或1时导数趋近于0，梯度消失，训练就卡住了。这就是为什么分类不用MSE。

还有一个细节是多标签分类和二分类的区别。多标签用BCEWithLogitsLoss，二分类也用这个，但多分类用CrossEntropyLoss。CrossEntropyLoss内部已经包含了softmax，所以模型最后一层不要再加softmax，否则相当于做了两次，梯度会出问题。这个坑我踩过，当时模型输出全是均匀分布，排查了半天才发现是重复softmax。

3.3 优化器与学习率：不是越高级越好

优化器这块，复习的重点是理解SGD、Momentum、Adam三者的递进关系，以及什么时候该用哪个。

SGD是最基础的，每次用当前batch的梯度更新参数。问题是如果不同方向的梯度尺度差异大，会震荡。Momentum引入动量，相当于给梯度加了一个“惯性”，能抑制震荡、加速收敛。Adam进一步引入自适应学习率，给每个参数单独调整步长，适合稀疏梯度或者不同参数尺度差异大的场景。

但Adam不是万能的。在一些图像分类任务上，调好的SGD+Momentum反而比Adam泛化更好，因为Adam的自适应学习率在某些情况下会导致训练后期不稳定。我的经验是：如果数据量大、任务复杂、懒得调参，先用Adam；如果追求极致效果且有时间调，试试SGD+Momentum，学习率用余弦退火。

学习率调度也很关键。固定学习率往往不是最优的，因为训练初期需要大学习率快速下降，后期需要小学习率精细调整。常用的有StepLR、CosineAnnealingLR、ReduceLROnPlateau。其中ReduceLROnPlateau是根据验证指标自动降，比较省心，但要注意patience参数别设太小，否则容易降太快。

# 一个常用的组合：Adam + 余弦退火 optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=50) for epoch in range(50): train(...) scheduler.step()

提示：学习率预热（warmup）在Transformer类模型里几乎是标配，前几个epoch从很小的学习率线性升到目标值，能避免训练初期的不稳定。

3.4 归一化：BatchNorm、LayerNorm到底怎么选

归一化是复习里最容易混淆的一块，因为名字多、公式像、适用场景不同。

BatchNorm是在batch维度上做归一化，对每个通道计算均值和方差。它的优势是训练快、有正则化效果，但缺点是对batch size敏感，batch太小的时候统计量不准，效果会掉。而且训练和推理阶段行为不同：训练用当前batch的统计量，推理用移动平均的统计量。这就是为什么推理前必须model.eval()。

LayerNorm是在特征维度上做归一化，对每个样本单独计算。它不依赖batch size，所以适合序列长度变化大的任务，比如NLP。Transformer里用的就是LayerNorm。

还有InstanceNorm和GroupNorm，前者常用于风格迁移，后者在batch小的时候可以替代BatchNorm。选择的原则很简单：如果batch size够大（比如32以上）且是图像任务，用BatchNorm；如果batch小或者是序列任务，用LayerNorm或GroupNorm。

3.5 正则化：Dropout、权重衰减、早停

正则化的目的是防止过拟合，但很多人只知道加Dropout，不知道什么时候该加、加多少。

Dropout是在训练时随机丢弃一部分神经元，相当于每次训练一个子网络，推理时用全部。它的效果和位置有关：一般放在全连接层后面，卷积层后面用得少，因为卷积本身有参数共享，过拟合风险相对小。Dropout率通常设0.5，太高会欠拟合，太低没效果。

权重衰减（L2正则）是在损失里加参数平方和，让参数尽量小。它和Dropout可以一起用，但要注意Adam里的weight_decay实现和标准L2有差异，PyTorch的Adam默认是L2正则，如果想用真正的权重衰减，得用AdamW。

早停是最简单也最有效的正则化：验证集指标不再提升就停。关键是patience的设置，太小容易停太早，太大浪费时间。我的经验是patience设10到20个epoch，同时保存验证集最好的模型。

注意：Dropout和BatchNorm一起用的时候要小心，Dropout放在BatchNorm后面通常更好，因为BatchNorm的统计量会被Dropout打乱。

4. 实操过程与核心环节实现

4.1 搭建一个最小可复现的训练框架

复习基础知识最好的方式，是自己从零搭一个训练框架，不用高级API，就用最基础的张量操作。这样每个环节都过一遍手，印象会深很多。

第一步是数据准备。用Dataset和DataLoader封装，重点是__getitem__返回的张量形状要一致，collate_fn处理变长序列。第二步是模型定义，继承nn.Module，forward里写清楚数据流向。第三步是训练循环，包括前向、损失、反向、更新四步。第四步是验证循环，用no_grad包起来。第五步是保存和加载，注意保存的是state_dict而不是整个模型。

class SimpleNet(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() self.fc1 = nn.Linear(in_dim, hidden_dim) self.bn = nn.BatchNorm1d(hidden_dim) self.fc2 = nn.Linear(hidden_dim, out_dim) self.dropout = nn.Dropout(0.5) def forward(self, x): x = self.fc1(x) x = self.bn(x) x = F.relu(x) x = self.dropout(x) x = self.fc2(x) return x

这个框架搭一遍，大概两三百行，但覆盖了80%的核心知识点。搭完之后，你可以通过改一个参数、换一个损失函数、调一下学习率，观察结果变化，这种“可控实验”比看十遍书都管用。

4.2 用一个小数据集验证每个知识点

光搭框架还不够，得用数据跑起来。我推荐用MNIST或者FashionMNIST，因为数据小、训练快、结果直观。在这个数据集上，你可以做很多对比实验。

比如验证BatchNorm的作用：一份代码用BN，一份不用，其他完全一样，看训练曲线。你会发现用BN的收敛快很多，而且对学习率没那么敏感。再比如验证Dropout：一份用，一份不用，看训练集和验证集的准确率差距。不用Dropout的，训练集很快到99%，验证集卡在97%左右；用了Dropout的，训练集慢一点，但验证集能到98%以上。

这些对比实验的价值在于，它们把抽象的概念变成了你亲眼看到的现象。以后遇到类似问题，你脑子里会有画面，而不是一堆公式。

4.3 梯度检查与数值稳定性

梯度检查是复习里容易被忽略但极其重要的一环。做法很简单：用数值近似算梯度，和反向传播算的梯度对比，看差异是否在合理范围内。

def check_gradient(model, x, y, epsilon=1e-5): # 数值梯度 loss = criterion(model(x), y) loss.backward() analytic_grad = model.fc1.weight.grad.clone() # 数值近似 numeric_grad = torch.zeros_like(analytic_grad) for i in range(analytic_grad.shape[0]): for j in range(analytic_grad.shape[1]): model.fc1.weight[i, j] += epsilon loss_plus = criterion(model(x), y) model.fc1.weight[i, j] -= 2 * epsilon loss_minus = criterion(model(x), y) model.fc1.weight[i, j] += epsilon numeric_grad[i, j] = (loss_plus - loss_minus) / (2 * epsilon) diff = (analytic_grad - numeric_grad).abs().max() print(f"最大梯度差异: {diff.item()}")

如果差异在1e-6到1e-4之间，说明反向传播实现正确。如果差异很大，可能是某个操作没有正确实现梯度，或者数值不稳定。

数值稳定性方面，重点复习softmax和log_softmax的区别。softmax在数值大时会溢出，log_softmax通过减去最大值避免这个问题。PyTorch的CrossEntropyLoss内部用的是log_softmax，所以直接传logits是安全的。

4.4 混合精度训练：省显存但不省精度

混合精度训练是工程实践里的重要技巧，用FP16做前向和反向，FP32做参数更新。好处是显存占用减半、速度提升，坏处是可能梯度下溢。

PyTorch里用torch.cuda.amp实现，核心是autocast和GradScaler。autocast自动选择哪些操作用FP16，GradScaler放大损失避免梯度下溢，更新前再缩回来。

scaler = torch.cuda.amp.GradScaler() for x, y in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): output = model(x) loss = criterion(output, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()

提示：混合精度不是所有模型都适合，一些对数值敏感的模型（比如某些GAN）可能会不稳定，用之前先在小规模上验证。

5. 常见问题与排查技巧实录

5.1 训练不收敛的排查顺序

训练不收敛是最常见的问题，但排查要有顺序，不能乱试。我的顺序是：先看数据，再看损失，再看梯度，最后看学习率。

数据方面，检查标签有没有错、输入有没有归一化、训练集和验证集分布是否一致。我遇到过一次，标签是字符串没转成数字，模型学了个寂寞。损失方面，检查损失函数和任务是否匹配，分类用交叉熵，回归用MSE。梯度方面，打印每层的梯度范数，如果全是0，说明梯度消失；如果全是NaN，说明梯度爆炸。学习率方面，先试1e-3，不行试1e-4，再不行试1e-2，通常能定位到量级问题。

5.2 显存不够用的几种解法

显存不够是工程里最烦的问题之一，但解法其实不少。第一是减小batch size，这是最直接的，但可能影响BN效果。第二是用梯度累积，多个小batch的梯度累加再更新，等效于大batch。第三是用混合精度，显存直接减半。第四是检查有没有不必要的中间变量被保留，比如在循环里累加了loss但没detach。

# 梯度累积示例 accum_steps = 4 for i, (x, y) in enumerate(dataloader): output = model(x) loss = criterion(output, y) / accum_steps loss.backward() if (i + 1) % accum_steps == 0: optimizer.step() optimizer.zero_grad()

注意：梯度累积时loss要除以累积步数，否则等效学习率会变大。

5.3 模型推理结果和训练不一致

这个问题通常有三个原因。第一是忘了model.eval()，导致dropout和batchnorm还在训练模式。第二是数据预处理不一致，训练时用了某种归一化，推理时忘了。第三是设备不一致，训练在GPU，推理在CPU，某些操作结果有细微差异。

排查方法是：先确认model.eval()调用了，再确认预处理代码是同一份，最后确认设备一致。如果都没问题，打印训练时和推理时的中间层输出，逐层对比，通常能定位到具体哪一层。

5.4 学习率调参的经验法则

学习率是超参数里最重要的一个，但调起来也有规律。如果loss曲线是缓慢下降，说明学习率偏小；如果是剧烈震荡或者直接飞了，说明偏大。一个实用的技巧是用学习率扫描：从1e-5到1e-1，每个量级跑几个epoch，看哪个量级loss下降最快，然后在这个量级附近细调。

另一个技巧是配合warmup。前5%的step用线性升温，从1e-6升到目标学习率，能避免初期的不稳定。这个在Transformer里几乎是标配，在CNN里也值得一试。

5.5 复习效果的自我检验方法

最后说一个检验复习效果的方法：能不能用白板给别人讲清楚。具体来说，挑五个核心概念，比如反向传播、BatchNorm、Adam、Dropout、注意力机制，每个用五分钟讲，要求是讲清楚“是什么、为什么、怎么用、有什么坑”。如果讲的时候卡壳，说明这块还没复习到位。

我自己的经验是，讲给别人听的时候，最容易暴露的问题是“我知道这个结论，但不知道为什么”。比如我知道BatchNorm能加速训练，但说不清它为什么能加速。这种时候就得回去补课，把原论文翻出来看推导。

复习深度学习基础知识这件事，没有一劳永逸的时候。模型在变，工具在变，但底层的数学和直觉是不变的。把基础打牢，学新东西的时候会快很多，遇到问题的时候也会更有方向。我个人的体会是，每次复习都会有新的收获，因为你的实践经验在增加，同样的知识点，理解深度是不一样的。