1. 为什么“复习”深度学习比“学”深度学习更让人头疼
如果你问一个刚入门深度学习的人最怕什么，十有八九会告诉你“公式推不动”或者“代码跑不通”。但如果你问一个已经做过几个项目、调过几轮模型的人最怕什么，答案往往出人意料——怕被问到最基础的概念。这不是玩笑。我带过不少刚入行的朋友，也跟一些工作了三五年的同行聊过，大家有个共同感受：真正让你在技术讨论中卡壳的，不是那些花哨的注意力机制变体，而是“卷积核到底在滑什么”“反向传播的链式法则为什么能成立”“Batch Normalization在推理阶段到底怎么算”这类看似简单的问题。
这个现象背后有个很实在的原因：深度学习的知识结构是“倒金字塔”型的。入门时你只需要知道“搭个网络、跑个训练、看个准确率”就能交差，但越往上走，你越需要回头去补底层逻辑。比如你调一个图像分类模型，发现验证集准确率死活上不去，这时候如果对“感受野”“特征图尺寸变化”“梯度消失”这些基础概念没有清晰的物理直觉，你连该往哪个方向调都不知道。所以“复习”这件事，本质上不是重复记忆，而是把零散的操作经验重新挂到一根逻辑主线上。
我写这篇内容的出发点很直接：假设你已经接触过深度学习，能跑通一些Demo，甚至做过一两个小项目，但总觉得知识是散的，面试被问深一点就心虚，看论文时对某些步骤的来龙去脉说不清楚。那接下来的内容就是为你准备的。我会按照“从数据到模型再到训练”的完整链路，把那些最容易被忽略但最影响实战判断的基础点拆开讲，每个点都配上“为什么这么设计”和“实际中怎么用”的说明。不堆公式，不抄教科书，只讲一个从业者回头看时觉得真正有用的东西。
2. 从张量到计算图：数据是怎么在网络里“流动”的
2.1 张量的本质不是“多维数组”，而是“带语义的容器”
很多人第一次接触张量时，会把它简单理解成“多维数组”，这个理解在写代码时够用，但在排查问题时不够用。举个实际例子：你拿到一个形状为(32, 3, 224, 224)的张量，如果只把它当成四维数组，你可能会忽略“32是批量大小、3是通道数、224是空间尺寸”这层语义。而一旦训练时出现形状不匹配的报错，你首先需要判断的是：是批量维度对不上，还是通道维度对不上？这时候“语义”比“形状”更重要。
我习惯把张量理解成一个带标签的数据容器。每个维度都有明确的物理含义：批量维度代表“这次处理多少个样本”，通道维度代表“每个样本有多少个特征图”，空间维度代表“特征图在二维平面上有多大”。这种理解方式在调试时特别管用。比如你发现某个中间层的输出形状突然从(32, 64, 56, 56)变成了(32, 128, 28, 28)，你立刻能反应过来：通道数翻倍、空间尺寸减半，这大概率是一个步长为2的卷积层或者池化层在起作用。
注意：张量的“语义”不是框架强加的，而是你在设计网络时赋予的。所以每次写模型定义时，最好在注释里标清楚每个维度的含义，尤其是自定义层比较多的时候。
2.2 计算图：前向传播时到底在“记”什么
计算图这个概念，很多教程讲得太抽象。我用一个具体场景来说明。假设你定义了一个简单的全连接网络：输入x，经过Linear1得到h1，再经过激活函数ReLU得到a1，最后经过Linear2得到输出y。当你执行前向传播时，框架做的事情远不止“算出一个结果”。它同时在后台记录了一张图：x和W1怎么组合成h1，h1怎么经过ReLU变成a1，a1和W2怎么组合成y。这张图里的每个节点都知道“我的输入是谁”“我做了什么运算”“我的输出给了谁”。
为什么要记这些？因为反向传播需要它。反向传播的本质是沿着计算图反向走一遍，用链式法则把损失对每个参数的梯度算出来。如果没有这张图，框架就不知道W1的梯度该从哪条路径回传。所以你可以把计算图理解成“前向传播时留下的路标”，反向传播时顺着路标往回走就行了。
这里有个实际中容易踩的坑：如果你在训练循环里不小心把某个中间变量转成了NumPy数组，计算图就断了。比如你写loss_np = loss.detach().numpy()，然后试图用loss_np去做反向传播，框架会直接报错，因为它找不到从loss_np到参数的路径。这个错误在新手里很常见，尤其是需要打印损失值的时候。正确的做法是打印时用loss.item()，这样只取数值，不破坏计算图。
2.3 动态图与静态图的取舍：为什么现在主流框架都选动态图
早期的一些框架采用静态图模式：你先定义好整张计算图，编译之后才能喂数据运行。这种方式的好处是图固定了，框架可以做很多优化，比如算子融合、内存复用，推理效率高。但缺点也很明显：调试困难。你想在中间打印一个张量的值，得专门插入一个打印节点，然后重新编译整张图，非常麻烦。
现在主流的框架基本都采用动态图模式：你写一行代码，它就执行一行，计算图是边跑边建的。这种方式最大的好处是调试直观。你可以像写普通Python程序一样，在任意位置打断点、打印值、甚至用条件判断控制流程。比如你想实现一个“如果某个条件成立就跳过某一层”的逻辑，动态图下直接写if语句就行，静态图下就得用特殊的控制流算子。
当然动态图也不是没有代价。因为图是动态建的，框架没法提前做全局优化，所以训练时的速度可能比静态图慢一些。不过现在很多框架都提供了“动态图调试、静态图部署”的混合方案：训练时用动态图方便调试，训练完成后把模型导出成静态图用于推理，兼顾了两边的优势。这个思路在实际项目中很实用，尤其是需要把模型部署到性能受限的环境时。
3. 反向传播的链式法则：为什么梯度能“一层一层传回去”
3.1 用一个两层网络把链式法则“手算”一遍
链式法则的公式看起来简单：如果y = f(g(x))，那么dy/dx = dy/dg * dg/dx。但放到神经网络里，很多人就晕了。我用一个最小的例子来拆解。假设网络只有两层，没有激活函数，损失函数是均方误差：
- 第一层：
h = W1 * x + b1 - 第二层：
y = W2 * h + b2 - 损失：
L = (y - t)^2，其中t是真实值
现在要算L对W1的梯度。按照链式法则，路径是：L对y求导，y对h求导，h对W1求导，然后三者相乘。具体来说：
dL/dy = 2(y - t)dy/dh = W2dh/dW1 = x
所以dL/dW1 = 2(y - t) * W2 * x。这个结果说明一个关键点：W1的梯度里包含了W2的信息。也就是说，后面层的权重会影响前面层权重的更新方向。这就是为什么反向传播是“从后往前”算的——你必须先知道后面层的梯度，才能算前面层的。
实际中网络有几十上百层，手动展开不现实，但原理完全一样。框架做的事情就是自动沿着计算图反向遍历，每遇到一个节点就应用对应的链式法则，把梯度一步步传回去。你不需要手算，但理解这个过程能帮你判断“梯度消失”或“梯度爆炸”发生在哪一段。
3.2 梯度消失与梯度爆炸：从链式法则的“连乘”说起
链式法则有个特点：梯度是一路乘过去的。如果每一层的局部梯度都小于1，那么乘了十几层之后，梯度就会变得非常小，这就是梯度消失。反过来，如果每一层的局部梯度都大于1，乘多了就会变成天文数字，这就是梯度爆炸。
为什么Sigmoid激活函数容易导致梯度消失？因为Sigmoid的导数最大值只有0.25。也就是说，每经过一个Sigmoid层，梯度至少缩小到原来的四分之一。十层之后，梯度就变成了原来的0.25^10，大约是百万分之一。这个量级下，前面层的参数基本收不到有效的更新信号。
ReLU激活函数之所以能缓解这个问题，是因为它在正区间的导数恒为1。梯度经过ReLU时不会缩小，可以比较顺畅地传回去。但ReLU也有自己的问题：负区间的导数为0，如果某个神经元的输入长期为负，它的梯度就永远是0，这个神经元就“死”了。实际中常用LeakyReLU或者ELU来缓解，它们在负区间给一个很小的斜率，保证梯度不会完全断掉。
提示：如果你在训练一个深层网络时发现前面几层的权重几乎不变，而后面几层正常更新，大概率是梯度消失。可以先检查激活函数的选择，再考虑加Batch Normalization或者用残差连接。
3.3 梯度检查：怎么确认自己写的反向传播是对的
如果你用框架的自动求导，一般不需要自己写反向传播。但如果你在实现自定义层或者自定义损失函数，就需要验证梯度算得对不对。这时候可以用数值梯度检查：对某个参数加上一个极小的扰动ε，计算损失的变化，然后除以ε，得到数值梯度；再和反向传播算出的解析梯度对比。如果两者非常接近（相对误差在1e-6量级），说明反向传播实现正确。
这个技巧在实际中很有用。我曾经实现过一个自定义的损失函数，前向传播结果看起来没问题，但训练时损失死活不下降。后来用数值梯度检查发现，反向传播里有一个符号写反了。修正之后训练立刻正常。所以如果你在自定义算子时遇到“前向对、反向错”的情况，优先怀疑梯度计算，用数值检查快速定位。
4. 卷积与池化：图像任务里最核心的两个操作
4.1 卷积核到底在“滑”什么：从感受野说起
卷积操作的本质是用一个固定大小的窗口在输入特征图上滑动，每次滑动时计算窗口内元素与卷积核权重的加权和。这个描述听起来简单，但实际理解时需要抓住两个关键点：感受野和权重共享。
感受野指的是输出特征图上的一个像素，对应输入特征图上的多大区域。比如一个3x3的卷积核，输出上的一个像素是由输入上3x3的区域计算出来的，所以感受野是3x3。如果你堆叠两层3x3卷积，第二层输出上的一个像素对应第一层输出上的3x3区域，而第一层输出上的每个像素又对应原始输入上的3x3区域，所以第二层输出对原始输入的感受野是5x5。这个规律可以推广：n层3x3卷积的感受野是(2n+1) x (2n+1)。
为什么要关心感受野？因为它决定了网络能“看到”多大的上下文。如果你的任务需要识别大物体，感受野就必须足够大，否则网络只能看到物体的局部，无法判断整体类别。实际中常用两种方式增大感受野：一是堆叠更多卷积层，二是使用空洞卷积（在卷积核元素之间插入空隙）。空洞卷积的好处是不增加参数量的同时扩大感受野，在语义分割任务里很常用。
权重共享是卷积的另一个核心特点。同一个卷积核在整张特征图上滑动，意味着无论物体出现在图像的哪个位置，用的都是同一组权重。这带来了两个好处：一是参数量大幅减少，一个3x3卷积核只有9个参数，全连接层可能需要成千上万个；二是带来了平移不变性，物体稍微移动一下，卷积的输出模式基本不变。这个特性对图像任务非常关键，因为图像里的物体本来就可能出现在任意位置。
4.2 池化的作用与替代方案：为什么现在有些网络不用池化了
池化层最常见的两种是最大池化和平均池化。最大池化取窗口内的最大值，平均池化取平均值。它们的作用主要有两个：一是降低特征图的空间尺寸，减少后续计算量；二是增加一定程度的平移不变性，因为窗口内的小幅移动不会改变最大值或平均值。
但池化也有一个明显的缺点：它会丢失空间位置信息。最大池化只保留窗口内的最大值，其他值直接丢弃。对于分类任务来说，这个信息损失通常可以接受，因为分类只需要知道“有没有某个特征”，不需要知道“特征具体在哪”。但对于分割、检测这类需要精确定位的任务，池化带来的信息损失就可能影响性能。
所以现在很多网络设计开始用步长卷积来替代池化。步长卷积就是卷积核滑动时每次移动不止一个像素，比如步长为2时，输出特征图的空间尺寸就减半。这样做的好处是降采样的过程也参与学习，网络可以根据任务需要决定保留哪些信息。比如在图像分割任务里，用步长卷积替代池化后，边缘细节的保留明显更好。
注意：池化层没有可学习的参数，所以如果你用池化降采样，这部分计算量是固定的。而步长卷积有参数，会增加一些计算量，但换来的是更强的表达能力。实际选型时需要在精度和速度之间权衡。
4.3 卷积的输出尺寸计算：一个必须刻在脑子里的公式
卷积输出尺寸的计算公式是：输出尺寸 = (输入尺寸 - 卷积核尺寸 + 2 * 填充) / 步长 + 1。这个公式看起来简单，但实际中经常有人算错。我见过不少人在设计网络时，凭感觉设置参数，结果跑到某一层突然报形状不匹配的错误。
举个例子：输入是224x224，卷积核3x3，填充为1，步长为1。代入公式：(224 - 3 + 2*1) / 1 + 1 = 224。也就是说，这个配置下输出尺寸和输入一样。这就是为什么3x3卷积配填充1被称为“保持尺寸的卷积”。如果你把步长改成2，输出就变成(224 - 3 + 2) / 2 + 1 = 112，尺寸减半。
实际设计网络时，我习惯在每一层旁边标注输入输出尺寸，尤其是降采样层。这样一旦后面出现形状错误，可以快速定位是哪一层的问题。另外，填充的作用是控制输出尺寸，同时也会影响边缘信息的保留。填充为0时，边缘像素参与卷积的次数少，边缘信息容易丢失；填充为1时，边缘像素被“补了一圈”，参与次数增加，边缘信息保留更好。
5. 训练过程中的那些“玄学”：学习率、批大小与归一化
5.1 学习率：为什么它是最重要的超参数
如果只能调一个超参数，那一定是学习率。学习率决定了每次参数更新的步长。步长太小，训练慢，可能几百个epoch都收敛不了；步长太大，参数更新过猛，损失可能震荡甚至发散。
实际中常用的策略是学习率预热加衰减。预热就是在训练刚开始的几百步里，让学习率从很小的值逐渐增加到设定的初始值。为什么要预热？因为训练初期参数是随机初始化的，梯度可能很大，如果直接用大学习率，参数一下子被更新到很远的地方，可能直接跑飞。预热让模型先“稳一稳”，再加速。
衰减则是在训练中后期逐渐减小学习率。因为接近收敛时，参数已经在一个比较好的位置附近，需要更小的步长来精细调整。常用的衰减方式有按步衰减、余弦衰减等。余弦衰减的特点是学习率按照余弦曲线从初始值降到0，实际中用得比较多，因为它在训练中期保持较大的学习率，后期快速下降，收敛效果通常不错。
提示：如果你不确定学习率设多少，可以从
1e-3开始试。如果损失震荡，降到1e-4；如果损失下降太慢，升到1e-2。另外，使用自适应优化器（如Adam）时，学习率可以设得比SGD大一些，因为自适应优化器会对每个参数的学习率做缩放。
5.2 批大小的影响：不只是“一次处理多少样本”
批大小决定了每次参数更新时用多少个样本计算梯度。批大小越大，梯度估计越准确，但内存占用也越大。批大小越小，梯度噪声越大，但有时噪声反而有助于跳出局部最优。
实际中批大小的选择受限于显存。如果显存不够，可以用梯度累积：每次只处理一个小批量，但把梯度累加起来，累积几次之后再更新参数。这样等效于用了更大的批大小，但显存占用不变。这个技巧在训练大模型时非常实用。
批大小还会影响Batch Normalization的行为。BN在训练时用当前批次的均值和方差做归一化，所以批大小太小时，均值和方差的估计不准，BN的效果会变差。实际中如果批大小小于8，可以考虑用Group Normalization或者Layer Normalization替代。
5.3 Batch Normalization：训练和推理阶段的差异
BN是深度学习中最重要的技巧之一，但它的训练和推理行为不一致，这一点经常被忽略。训练时，BN用当前批次的均值和方差对输入做归一化，同时维护一个全局的均值和方差（用滑动平均更新）。推理时，BN不再用当前批次的统计量，而是用训练时维护的全局统计量。
为什么要这样设计？因为推理时可能只来一个样本，没法算批次的均值和方差。如果推理时还用单个样本的统计量，结果会非常不稳定。所以训练时维护全局统计量，推理时直接用，保证输出稳定。
这个差异导致一个实际中容易踩的坑：如果你在训练时用了BN，但推理时忘了切换到评估模式，结果会差很多。比如在PyTorch里，你需要显式调用model.eval()来切换BN和Dropout的行为。我见过有人在部署模型时忘了这一步，导致推理结果和验证结果对不上，排查了半天才发现是BN的模式问题。
6. 过拟合与正则化：模型“背答案”了怎么办
6.1 判断过拟合的信号：训练损失降、验证损失升
过拟合最典型的信号是：训练集上的损失持续下降，但验证集上的损失在降到某个点之后开始上升。这说明模型开始“记住”训练集的噪声，而不是学习泛化规律。另一个信号是训练准确率和验证准确率的差距越来越大。
实际中判断过拟合不能只看一个epoch。因为验证损失本身有波动，偶尔上升一下可能是正常的。我通常看连续几个epoch的趋势：如果验证损失连续三到五个epoch都在上升，而训练损失还在降，那就基本可以确认过拟合了。
6.2 数据增强：最“划算”的正则化手段
数据增强是增加训练数据多样性的最直接方式。对图像任务来说，常用的增强包括随机裁剪、随机翻转、颜色抖动、旋转等。这些操作不改变图像的语义标签，但让模型每次看到的样本都略有不同，从而迫使模型学习更鲁棒的特征。
数据增强的力度需要控制。增强太弱，效果不明显；增强太强，可能改变图像语义，导致模型学到错误的东西。比如对手写数字识别任务，随机旋转30度可能就把“6”转成了“9”，标签就不对了。所以增强策略要结合具体任务来定。
注意：数据增强只用在训练集上，验证集和测试集不要做增强（除了必要的归一化）。因为验证集是用来评估模型真实性能的，增强会引入随机性，导致评估结果不稳定。
6.3 Dropout与权重衰减：两种不同的正则化思路
Dropout的思路是在训练时随机“关掉”一部分神经元，每次前向传播时每个神经元以一定概率被置零。这样做的好处是模型不能依赖某个特定的神经元，必须学习更分散的特征表示。推理时所有神经元都打开，但输出要乘以保留概率，保证期望一致。
权重衰减的思路是在损失函数里加上权重的L2范数，迫使权重尽量小。权重小意味着模型对输入的微小变化不敏感，从而更稳定。实际中权重衰减系数通常设在1e-4到1e-2之间，太小没效果，太大可能导致欠拟合。
这两种正则化可以同时用，但要注意力度。如果Dropout概率设得很高（比如0.5以上），同时又加了很大的权重衰减，模型可能欠拟合，训练损失都降不下去。我一般先调Dropout，再调权重衰减，每次只动一个，观察验证集的变化。
7. 从训练到部署：那些“跑通”之后才会遇到的问题
7.1 模型保存与加载：别只保存权重
训练完模型后，保存方式有两种：只保存权重参数，或者保存整个模型结构加权重。只保存权重的好处是文件小，但加载时需要重新定义模型结构，如果结构定义和训练时不一致，加载就会出错。保存整个模型的好处是加载方便，但文件大，而且如果代码结构变了，加载可能失败。
我习惯的做法是保存权重参数字典，同时把模型定义代码和超参数配置一起存下来。这样即使以后代码重构了，只要模型定义没变，就能正确加载。另外，保存时最好记录训练时的配置，比如学习率、批大小、优化器类型，方便复现。
7.2 推理速度优化：从模型剪枝到量化
训练好的模型往往参数量很大，推理速度慢。如果部署到性能受限的设备上，就需要做优化。常用的手段有剪枝、量化和知识蒸馏。
剪枝是去掉模型中不重要的连接或神经元。比如把权重接近0的连接去掉，模型变小，速度变快。量化是把浮点权重转成低精度表示，比如从32位浮点转成8位整数，模型大小减少四分之三，推理速度也能提升。知识蒸馏是用一个大模型（教师）指导一个小模型（学生）训练，让小模型学到和大模型相近的性能。
这些优化手段各有取舍。剪枝和量化可能带来精度损失，需要做微调来恢复。知识蒸馏需要额外训练一个小模型，但精度损失通常较小。实际中根据部署环境的限制来选择。
7.3 常见部署坑：输入预处理不一致
这是最容易被忽略但影响最大的问题。训练时你对输入做了归一化，比如把像素值从[0, 255]缩放到[0, 1]，再减去均值除以标准差。部署时如果忘了做同样的预处理，模型看到的输入分布和训练时完全不同，输出会完全错误。
我遇到过好几次这种情况：离线评估准确率很高，上线后效果很差，排查半天发现是预处理代码不一致。所以部署时一定要把预处理逻辑和模型绑定在一起，最好写成一个完整的推理管道，输入原始数据，输出最终结果，中间不做任何手动干预。
8. 复习这件事，我的个人体会
回头看，深度学习的基础知识其实不多，但每一个都值得反复琢磨。我自己的习惯是每隔一段时间就挑一个基础点，试着用最朴素的语言把它讲清楚，如果讲不清楚，说明还没真正理解。比如“卷积为什么能提取特征”这个问题，我前后想过好几次，每次都有新的体会。最开始觉得是“卷积核在匹配模式”，后来觉得是“权重共享带来了平移不变性”，再后来觉得是“多层堆叠带来了层次化的特征表示”。每个理解都不算错，但合在一起才比较完整。
另一个体会是，复习的时候一定要动手。光看公式和文字，很容易产生“我懂了”的错觉。但只要你试着用代码实现一遍，或者用一个极小的例子手算一遍，就会发现很多之前忽略的细节。比如反向传播，你看十遍推导不如自己用NumPy写一个两层网络的反向传播，写完再和框架的自动求导对比，那个理解深度是完全不一样的。
最后说一个实际中很有用的习惯：建一个自己的“问题清单”。每次遇到不懂的地方，不管多小，都记下来。过一段时间回头看，你会发现有些问题已经自然解决了，有些还需要再查。这个清单就是你知识体系里的“薄弱点地图”，复习的时候优先看这些，效率比从头翻书高得多。
