1. 为什么搞深度学习还得回头翻数学课本
刚入门深度学习那会儿，我总觉得数学是“学院派”才关心的东西。反正框架都封装好了，model.fit()一调，梯度自己就往下走，损失自己就往下降，我操那心干嘛？直到有一次，我训练一个不算复杂的图像分类模型，损失函数死活不收敛，换了优化器、调了学习率、加了正则化，折腾两天毫无进展。最后一位做理论方向的朋友看了一眼我的输出层，说了句：“你最后一层用了 Sigmoid，但损失函数选的是交叉熵，输出没做归一化，梯度全被压扁了。”那一刻我才意识到，框架帮你把导数算好了，但它不会帮你判断这个函数用在这里合不合理。
这就是我写这篇东西的出发点。标题叫“深度学习的数学-需要了解的函数”，听起来像是一份清单，但我更想把它写成一份实战地图。因为深度学习里涉及的数学函数，掰着手指头数，核心的也就那么十来个，但它们之间的组合方式、适用边界、以及在代码里对应的实现细节，才是真正拉开差距的地方。你不需要把《数学分析》从头啃一遍，但你必须清楚：什么时候该用哪个函数，为什么用它，以及用错了会发生什么。
这篇文章适合两类人：一类是刚学完 Python 和基础神经网络、准备上手真实项目的朋友，你会在调参和排错时反复用到这些函数；另一类是已经能跑通模型、但遇到诡异现象（比如梯度爆炸、输出全零、损失不降）时不知道从哪下手的同学。我会尽量避开纯公式推导，把每个函数的“脾气”讲清楚，配上我在实际项目里踩过的坑和验证过的参数。你不需要纸笔，打开编辑器跟着敲一遍，感受会更直接。
2. 线性代数里的“搬运工”：向量、矩阵与张量运算
2.1 为什么数据必须先变成张量
深度学习的输入，无论是图片、文本还是音频，最终都要被塞进一个多维数组里，这个数组在框架里叫张量（Tensor）。你可以把它理解成一个“可以放在 GPU 上加速的 NumPy 数组”。但这里有个容易被忽略的点：张量的形状（shape）决定了后续所有运算能不能跑通。我见过太多新手在torch.matmul或tf.matmul上报错，十有八九是形状对不上。
举个实际例子。假设你有一批 32 张 RGB 图片，每张 224x224，那么输入张量的形状是(32, 3, 224, 224)。如果你要把它送进一个全连接层，必须先展平（flatten）成(32, 3*224*224)，也就是(32, 150528)。这个操作在 PyTorch 里是x.view(x.size(0), -1)，在 TensorFlow 里是tf.keras.layers.Flatten()。看起来简单，但如果你忘了 batch 维度，直接写成x.view(-1)，那整个 batch 就被压成一维向量了，后续计算全乱套。
提示：养成习惯，在每一个运算前后打印
x.shape。这不是笨办法，这是最省时间的办法。
2.2 矩阵乘法：深度学习的“心脏”
矩阵乘法（MatMul）是神经网络里最频繁的运算。一个全连接层的核心就是y = xW + b，其中x是输入，W是权重矩阵，b是偏置。这里的关键在于维度匹配规则：如果x的形状是(batch, in_features)，那么W的形状必须是(in_features, out_features)，乘出来才是(batch, out_features)。
我在早期项目里犯过一个典型错误：把W定义成了(out_features, in_features)，结果训练时 loss 一直在一个固定值附近震荡。后来查了半天才发现，矩阵乘法的顺序反了，相当于在做x @ W.T，但偏置b的维度又没对上，广播机制虽然没报错，但计算出来的东西完全不是我想表达的意思。广播（Broadcasting）是一把双刃剑，它让代码更简洁，但也让形状错误更难被发现。
| 运算 | 输入形状 A | 输入形状 B | 输出形状 | 常见用途 |
|---|---|---|---|---|
| 矩阵乘 | (32, 128) | (128, 64) | (32, 64) | 全连接层 |
| 逐元素乘 | (32, 64) | (32, 64) | (32, 64) | 注意力掩码 |
| 广播加 | (32, 64) | (64,) | (32, 64) | 加偏置 |
| 转置 | (128, 64) | - | (64, 128) | 权重共享 |
2.3 范数：衡量“大小”的尺子
范数（Norm）在深度学习里主要有两个用途：一是正则化，二是梯度裁剪。L2 范数大家最熟悉，就是向量各元素平方和的平方根。L1 范数则是绝对值之和。它们作为正则项时的区别，我用一个直观的类比来解释：L2 正则像是“均匀地压小所有参数”，L1 正则则倾向于“把不重要的参数直接压到零”，所以 L1 更容易产生稀疏解。
在实际操作中，如果你发现模型过拟合，加 L2 正则（权重衰减）通常是最先尝试的手段。在 PyTorch 的优化器里，weight_decay=1e-4就是一个典型的 L2 正则系数。但要注意，权重衰减和 L2 正则在某些优化器（如 Adam）里并不完全等价，这是后来一些研究指出的细节。如果你用的是 AdamW，那它就是把权重衰减和梯度更新解耦了，效果通常更稳。
梯度裁剪则用到了范数。当梯度爆炸时，我们会计算所有参数梯度的总范数，如果超过某个阈值（比如 1.0 或 5.0），就把梯度按比例缩小。这个操作在 RNN 和 Transformer 的训练里几乎是标配。代码大概长这样：
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)这行代码的意思是：如果所有参数梯度的 L2 范数超过 1.0，就整体缩放，使其范数等于 1.0。方向不变，只改大小。
3. 激活函数：给网络注入“非线性”的灵魂
3.1 没有激活函数，深层网络就是个纸老虎
如果你把神经网络里的所有激活函数都去掉，那么无论叠多少层，最终都等价于一个线性变换。证明很简单：线性函数的复合还是线性函数。这意味着，一个 100 层的“线性网络”和一个单层全连接层的表达能力是一样的。激活函数的存在，才是深度网络“深”的意义所在。
我刚开始学的时候，总觉得激活函数就是“加个非线性”，随便选一个就行。后来做序列建模时，用了 Sigmoid 作为中间层激活，结果训练到第 5 层左右，梯度就几乎消失不见了。原因在于 Sigmoid 的导数最大值只有 0.25，而且当输入稍微大一点或小一点，导数就趋近于零。反向传播时，梯度每经过一层就乘以一个小于 0.25 的数，几层下来就变成了天文数字小。
3.2 ReLU 家族：最常用的默认选择
ReLU（Rectified Linear Unit）的定义极其简单：f(x) = max(0, x)。它的导数在正区间是 1，负区间是 0。这个“1”非常关键，它让梯度在正区间可以无损地反向传播，极大地缓解了梯度消失问题。而且计算极快，一次比较操作就完事。
但 ReLU 有个著名的“死亡 ReLU”问题：如果一个神经元的输入长期为负，那么它的梯度永远是 0，权重永远不更新，这个神经元就“死”了。我在一个文本分类项目里遇到过，某层有将近 30% 的神经元输出恒为零。后来换成了LeakyReLU，给负区间一个很小的斜率（比如 0.01），问题就解决了。
| 激活函数 | 公式 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| Sigmoid | 1/(1+e^-x) | 输出在(0,1)，适合概率 | 梯度消失，输出非零中心 | 二分类输出层 |
| Tanh | (e^x-e^-x)/(e^x+e^-x) | 输出零中心 | 梯度消失依然存在 | 早期RNN |
| ReLU | max(0,x) | 计算快，缓解梯度消失 | 死亡ReLU | 大多数CNN/MLP |
| LeakyReLU | max(0.01x, x) | 解决死亡ReLU | 斜率需调 | 深层网络 |
| GELU | x·Φ(x) | 平滑，效果好 | 计算稍慢 | Transformer |
| Softmax | e^xi/Σe^xj | 输出归一化为概率 | 数值稳定性需处理 | 多分类输出层 |
3.3 Softmax 与数值稳定性：一个必须掌握的细节
Softmax 通常用在多分类的输出层，把一堆实数变成概率分布。公式看起来人畜无害，但直接按定义实现会出大问题。因为e^x在 x 稍微大一点（比如 1000）就会溢出成inf，在 x 很负时会下溢成 0。一旦出现inf，整个计算就废了。
标准的解决方案是减去最大值：先计算x - max(x)，再做指数运算。这样指数部分的最大值就是 0，不会溢出。这个技巧在几乎所有框架里都已经内置了，但如果你自己手写损失函数，一定要记得。我曾经在一个自定义损失里忘了这一步，训练到一半 loss 突然变成 NaN，排查了很久才定位到 Softmax 的溢出。
# 不稳定的写法 def softmax_naive(x): return np.exp(x) / np.sum(np.exp(x)) # 稳定的写法 def softmax_stable(x): x_shifted = x - np.max(x, axis=-1, keepdims=True) return np.exp(x_shifted) / np.sum(np.exp(x_shifted), axis=-1, keepdims=True)4. 损失函数：告诉模型“你错得有多离谱”
4.1 均方误差：回归任务的默认选项
均方误差（MSE）的公式是(y_pred - y_true)^2的均值。它对大误差的惩罚更重，因为误差被平方了。这在回归任务里很自然，但如果你数据里有异常值，MSE 会被异常值主导。比如预测房价，大部分房子在 100 万左右，突然有个 1 亿的样本，MSE 就会拼命去拟合那个异常点。
这时候可以考虑Huber Loss或者MAE（平均绝对误差）。MAE 对异常值更鲁棒，但它在零点不可导，而且梯度始终是常数，训练后期容易在最优解附近震荡。Huber Loss 则是两者的折中：误差小的时候用平方，误差大的时候用线性。在 PyTorch 里对应nn.SmoothL1Loss，它的beta参数控制切换点。
4.2 交叉熵：分类任务的“黄金标准”
交叉熵损失衡量的是两个概率分布之间的距离。在分类任务里，真实标签通常做 one-hot 编码，预测值经过 Softmax 变成概率。交叉熵的公式是-Σ y_true * log(y_pred)。因为y_true只有在一个位置是 1，其他是 0，所以实际上就是-log(预测为正确类别的概率)。
这里有一个极其重要的细节：PyTorch 的nn.CrossEntropyLoss内部已经包含了 Softmax。也就是说，你的模型输出层不需要再加 Softmax，直接输出 logits 就行。如果你画蛇添足加了 Softmax，再送进 CrossEntropyLoss，相当于做了两次 Softmax，梯度会变得非常小，训练几乎不动。我见过至少三个新手犯这个错误，包括我自己。
注意：TensorFlow 的
tf.keras.losses.CategoricalCrossentropy默认from_logits=False，需要你手动设置from_logits=True才能接收 logits。不同框架的默认行为不一样，一定要看文档。
4.3 对比损失与三元组损失：让模型学会“比较”
在一些任务里，我们不是要分类，而是要判断两个东西像不像。比如人脸验证、图像检索。这时候交叉熵就不太适用了，需要用对比损失（Contrastive Loss）或三元组损失（Triplet Loss）。
三元组损失的核心思想是：让锚点（Anchor）和正样本（Positive）的距离尽可能小，和负样本（Negative）的距离尽可能大，并且两者之间要有一个间隔（Margin）。公式是max(0, d(a,p) - d(a,n) + margin)。这个 margin 是个超参数，通常设 0.2 到 0.5 之间。设太小，模型学不到区分性；设太大，训练很难收敛。
我在一个商品图像检索项目里用过三元组损失，踩过的坑是样本挖掘。如果随机选三元组，很多三元组满足d(a,p) + margin < d(a,n)，损失为 0，梯度为 0，训练就停滞了。所以需要“难例挖掘”（Hard Negative Mining），专门挑那些容易混淆的负样本。这个策略对最终检索准确率的提升非常明显，但也会增加计算开销。
5. 优化器里的数学：从梯度下降到 Adam
5.1 梯度下降的三种变体
最朴素的梯度下降（Batch GD）是每次用全部数据算梯度，然后更新一次。这在数据量小的时候没问题，但深度学习的数据集动辄几十万条，算一次梯度要好久。于是有了随机梯度下降（SGD），每次只用一个样本。但单个样本的梯度噪声太大，更新方向抖动严重。
实际中最常用的是Mini-batch SGD，每次用一小批数据（比如 32、64、128）。这样既有一定的梯度稳定性，又能充分利用 GPU 的并行能力。batch size 的选择是个经验活：太小，训练不稳定；太大，泛化可能变差，而且显存吃不消。我通常从 32 或 64 开始试，如果显存够且训练稳定，再往上加。
5.2 动量：让更新“记住”之前的惯性
SGD 的一个问题是，在峡谷状的损失曲面上，它会来回震荡。动量（Momentum）的引入就是为了解决这个问题。它维护一个“速度”变量，每次更新时不仅考虑当前梯度，还考虑之前的速度。直观理解就是：给梯度下降加了一个“惯性”，让它能冲过小坑，也能在平坦区域加速。
动量系数通常设 0.9。这个值意味着，之前的速度会保留 90%，新梯度贡献 10%。在 PyTorch 里，torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)就是标准配置。
5.3 Adam：自适应学习率的集大成者
Adam 结合了动量和 RMSProp 的思想，为每个参数维护独立的学习率。它的核心是计算梯度的一阶矩（均值）和二阶矩（方差）的指数移动平均，然后做偏差校正。最终更新量是学习率 * 一阶矩 / (sqrt(二阶矩) + eps)。
Adam 的好处是对学习率不那么敏感，通常lr=1e-3就能跑得不错。但 Adam 也有缺点：在某些任务上，它的泛化能力不如调好参数的 SGD。我在图像分类任务里对比过，SGD + Momentum 在训练后期往往能到达更低的验证损失，而 Adam 收敛更快但最终精度可能差一点。所以现在的常见做法是：先用 Adam 快速收敛，再切换到 SGD 精调。
| 优化器 | 学习率建议 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| SGD | 0.01~0.1 | 泛化好 | 收敛慢，需调参 | CNN精调 |
| SGD+Momentum | 0.01~0.1 | 收敛快，泛化好 | 需调动量 | 大多数CNN |
| Adam | 1e-3~1e-4 | 自适应，易上手 | 泛化可能稍差 | Transformer/RNN |
| AdamW | 1e-3~1e-4 | 解耦权重衰减 | 同Adam | Transformer |
| RMSProp | 1e-3~1e-4 | 适合非平稳目标 | 需调衰减率 | RNN |
5.4 学习率调度：训练过程中的“油门控制”
学习率不是一成不变的。训练初期需要大学习率快速下降，后期需要小学习率精细调整。常见的学习率调度策略有：
- StepLR：每隔固定 epoch 乘以一个衰减因子（如 0.1）。
- CosineAnnealing：按余弦曲线从初始学习率降到 0，平滑过渡。
- ReduceLROnPlateau：当验证损失不再下降时，自动降低学习率。
我在实际项目里最常用的是 CosineAnnealing 配合 warmup。Warmup 就是在训练最开始的前几百步，让学习率从 0 线性增加到初始值。这对 Transformer 类模型尤其重要，因为一开始梯度噪声大，直接上大学习率容易把模型“带偏”。
# PyTorch 中 warmup + cosine 的简化实现 def adjust_lr(optimizer, step, warmup_steps, total_steps, base_lr): if step < warmup_steps: lr = base_lr * step / warmup_steps else: progress = (step - warmup_steps) / (total_steps - warmup_steps) lr = base_lr * 0.5 * (1 + math.cos(math.pi * progress)) for param_group in optimizer.param_groups: param_group['lr'] = lr6. 概率与信息论：那些藏在损失函数背后的概念
6.1 最大似然估计：为什么用交叉熵
交叉熵损失不是凭空冒出来的。它可以从**最大似然估计（MLE）**推导出来。假设模型输出的是条件概率P(y|x)，那么对于整个数据集，似然函数就是所有样本预测概率的乘积。我们要最大化这个似然，等价于最大化对数似然，也就是最小化负对数似然。对于分类问题，负对数似然就是交叉熵。
理解这一点很重要，因为它告诉你：交叉熵损失假设了模型输出是概率分布。如果你的模型输出不是概率（比如没做 Softmax），那交叉熵就失去了理论依据。这也是为什么前面强调 logits 和 Softmax 的关系。
6.2 KL 散度：衡量两个分布的差异
KL 散度（Kullback-Leibler Divergence）衡量的是两个概率分布之间的差异。公式是Σ p(x) log(p(x)/q(x))。它和交叉熵的关系是：交叉熵 = 熵 + KL散度。当真实分布p固定时，最小化交叉熵等价于最小化 KL 散度。
KL 散度在变分自编码器（VAE）里是核心组件。VAE 的损失函数由两部分组成：重构损失和 KL 散度。KL 散度项迫使编码器输出的潜在分布接近标准正态分布，从而让潜在空间连续且可采样。这里有个经验：KL 项的权重需要调。权重太大，重构会变模糊；权重太小，潜在空间不连续，采样出来的东西没意义。我通常从 0.001 开始试，根据重构质量调整。
6.3 互信息与 InfoNCE
互信息衡量两个变量之间的相关性。在自监督学习里，InfoNCE 损失是一个非常巧妙的构造，它通过对比学习来最大化输入和其表示之间的互信息下界。SimCLR、MoCo 这些自监督方法的核心就是 InfoNCE。
InfoNCE 的形式和交叉熵很像：在一个 batch 里，把同一个样本的不同增强版本作为正对，其他样本作为负对，然后做分类。温度系数τ是个关键超参数，通常设 0.07 到 0.2。温度越低，模型对难负样本的关注度越高，但训练也越不稳定。
7. 实际项目中的函数选择与排错经验
7.1 一个完整的函数选择清单
当你拿到一个新任务时，可以按这个顺序过一遍：
- 输入处理：数据转张量，检查形状，归一化（减均值除标准差）。
- 模型中间层：默认用 ReLU，如果发现神经元死亡就换 LeakyReLU 或 GELU。
- 输出层：二分类用 Sigmoid，多分类用 Softmax（但损失函数里可能已包含）。
- 损失函数：回归用 MSE 或 Huber，分类用交叉熵，对比学习用三元组或 InfoNCE。
- 优化器：先用 Adam 快速验证，再考虑 SGD 精调。
- 正则化：权重衰减（L2），Dropout，早停。
- 梯度处理：梯度裁剪防爆炸，检查梯度范数。
7.2 常见报错与排查思路
现象一：Loss 变成 NaN。首先检查学习率是不是太大，其次检查 Softmax 或 Log 里有没有零或负数，最后检查数据里有没有 NaN 或 Inf。我遇到过一次，数据预处理时除以了标准差，但某个特征的标准差是 0，结果整列变成 Inf。
现象二：Loss 不下降。检查输出层和损失函数是否匹配（比如多分类用了 MSE），检查学习率是否太小，检查数据标签是否正确。有一次我做二分类，标签是 0 和 1，但我不小心把标签转成了 one-hot，形状变成(N, 2)，而模型输出是(N, 1)，广播之后计算完全错了。
现象三：训练集 loss 下降但验证集 loss 上升。这是过拟合的典型信号。增加 Dropout、增大权重衰减、做数据增强、或者直接减小模型容量。
现象四：梯度爆炸。打印梯度范数，如果超过 100 甚至 1000，就要加梯度裁剪。RNN 和深层 Transformer 尤其常见。
7.3 那些“看起来没用但关键时刻救命”的函数
最后分享几个我实际项目中用过、但一般教程不太提的函数：
torch.nn.functional.pad：在卷积网络里做 padding，有时候需要不对称 padding，这个函数比层里的 padding 参数更灵活。torch.clamp：把张量限制在某个范围，调试时用来防止数值溢出。torch.where：条件选择，实现自定义掩码逻辑时非常方便。torch.einsum：爱因斯坦求和，写复杂的张量运算时能让代码更清晰，但性能不一定最优，调试阶段很好用。
我在一次多模态项目里，需要计算两个模态特征之间的相似度矩阵，用einsum('ik,jk->ij', a, b)一行就搞定了，比手动 reshape 和 bmm 清晰得多。当然，上线前还是换成了更高效的实现。
这些函数本身不难，难的是知道在什么场景下该想起它们。这只能靠多写、多踩坑、多回头看。数学不是用来吓人的，它是用来帮你把“为什么这样写”想清楚的。当你下次再遇到 loss 不收敛时，希望你能想起这篇文章里的某个函数，然后一拍脑袋：“哦，原来是这里用错了。”
