本文摘要：线上推理精度从 95% 跌到 72%，同输入重放结果不稳定，常被误判为数据问题。分层排查确认预处理混用与推理未切 eval 叠加，归一化统计量被批次改写。
一、问题与结论
线上日志没有一条报错：推理入口用torch.no_grad()包住，权重与验证用的是同一个.pth文件，验证集准确率 95%，灰度抽样只有 72%；同一条请求重放多次得到不同预测。环境为 Python 3.10、PyTorch 2.x，可用python -c "import torch; print(torch.__version__)"核对。
结论：这是两个独立 bug 的叠加——评估侧复用了训练用的transforms.Compose（含RandomHorizontalFlip），推理服务又没有调用model.eval()，于是nn.BatchNorm2d继续按当前 batch 统计量归一化，nn.Dropout继续随机置零。只修其中一个，落差仍在。
三条快速判据：
- 同一输入多次推理结果不同 → 先查
nn.Dropout是否仍在训练态。 - 预测稳定但精度偏移 → 比对推理输入与验证预处理后的像素分布。
- 数值与验证集对不上 → 打印
model.training，并观察running_mean是否被推理 batch 改写。
二、排查与选择依据
排查顺序按「随机性 → 输入分布 → 内部统计量」推进：输出不稳定是 Dropout 未关的直接信号，先排除；余下的固定偏移归因于输入分布；最后核对 BatchNorm 的running_mean、running_var。每步只改一处，落差才能归因到具体改动。
实际过程：
- 推理入口打印
model.training，输出True，确认model.eval()未被调用。 - 补上
model.eval()后重放同一请求：预测稳定了，但准确率仍明显低于验证集。 - 对比推理输入张量与验证 DataLoader 输出的
mean/std，发现推理走了训练 transform 的随机翻转。 - 拆出独立的 eval DataLoader（仅
Resize+ToTensor+Normalize），准确率回到验证集水平。 - 在推理前后读取
model.bn.running_mean：修复前每个推理 batch 都会改写它，修复后保持不变。
替代方案与取舍
| 方案 | 选择条件 | 代价 | 边界 |
|---|---|---|---|
手动model.eval()+ 独立 eval transform | 原生 PyTorch 推理服务，入口可控 | 每个推理入口都要重复写 | 依赖调用方记得写，漏一处即复发 |
torch.inference_mode()替换torch.no_grad() | 版本包含该 API | 接口替换成本低 | 只约束 autograd，不切换 BatchNorm / Dropout 行为，仍需配合model.eval() |
| 导出 TorchScript / ONNX 固化 eval 态 | 模型无动态控制流或已处理 | 需逐样本比对导出前后输出 | 动态 shape、自定义算子可能导出失败 |
| 训练 / 验证循环交给框架托管 | 新项目或愿意承担迁移 | 迁移与重构成本高 | 自定义训练逻辑多时收益有限 |
不适用的情况：nn.BatchNorm2d(track_running_stats=False)在 eval 模式下仍使用 batch 统计量，model.eval()无法修复；只含nn.InstanceNorm且不跟踪统计量的风格迁移模型本就依赖 batch 统计量，强行切换反而错。这类模型要另找根因。
三、关键原理
nn.BatchNorm2d的行为由training决定：训练态用当前 batch 的均值与方差归一化，并以指数移动平均更新running_mean、running_var；eval 态用累积的running_mean、running_var，不再更新。Module.eval()把self.training置为False并递归作用于子模块，不改动权重。
torch.no_grad()的作用域只有 autograd：禁用梯度计算与图构建，不改任何层的前向语义。只包no_grad()而忘记eval()时，BatchNorm 与 Dropout 仍是训练行为。
torchvision.transforms.Compose按顺序应用变换；训练侧随机增强与验证侧确定性预处理必须是两个Compose实例，混用会引入不可复现的输入扰动。
四、可运行示例
环境：Python 3.10、PyTorch 2.x、torchvision 0.15+。输入全部由torch.randn生成，无需下载数据。操作：保存为repro.py，执行python repro.py。若RandomHorizontalFlip对 Tensor 输入报错（旧版 torchvision 仅支持 PIL Image），可先把img转为 PIL 再走Compose。
importtorchimporttorch.nnasnnfromtorchvisionimporttransformsclassMiniNet(nn.Module):def__init__(self):super().__init__()self.bn=nn.BatchNorm2d(3)self.drop=nn.Dropout(p=0.5)self.pool=nn.AdaptiveAvgPool2d(1)self.fc=nn.Linear(3,2)defforward(self,x):x=self.drop(self.bn(x))returnself.fc(self.pool(x).flatten(1))torch.manual_seed(0)model=MiniNet()# 模拟训练结束后的 running 统计量model.bn.running_mean.data=torch.tensor([0.5,-0.3,0.8])model.bn.running_var.data=torch.tensor([0.2,0.1,0.3])x=torch.randn(4,3,16,16)# Bug A：推理缺少 model.eval()model.train()flag_a=model.training before=model.bn.running_mean.clone()withtorch.no_grad():out_a=model(x)print("training flag in buggy path:",flag_a)print("running_mean changed in train mode:",nottorch.equal(before,model.bn.running_mean))model.eval()withtorch.no_grad():out_b=model(x)print("max abs diff:",(out_a-out_b).abs().max().item())# Bug B：评估误用训练 transformtrain_tf=transforms.Compose([transforms.RandomHorizontalFlip(p=1.0),transforms.Normalize((0.5,)*3,(0.5,)*3),])val_tf=transforms.Compose([transforms.Normalize((0.5,)*3,(0.5,)*3),])img=torch.rand(3,16,16)print("transform mean diff:",(train_tf(img)-val_tf(img)).mean().item())assertnotmodel.training# 推理入口断言预期输出：training flag in buggy path: True；running_mean changed in train mode: True；max abs diff为非 0 的正数（具体数值随 PyTorch 版本与随机流略有差异）；transform mean diff不等于 0；末行assert通过。该差值同时包含 BatchNorm 统计量来源差异与 Dropout 随机性，想单独验证 BatchNorm，可把self.drop换成nn.Identity()。
实际输出：在同一环境执行python repro.py，若打印结果与上述一致，即可确认 train/eval 行为差异与 transform 混用同时存在；若max abs diff为 0，说明模型中没有带 train/eval 语义差异的层，本结论不适用。
五、验证结果与边界
修复动作有三处：推理入口调用model.eval()；为验证/推理创建独立 DataLoader，只保留Resize+ToTensor+Normalize；在 CI 与服务启动时断言not model.training。
验证记录（本地复现，PyTorch 2.x，抽样数值未在生产流量上长期验证）：修复前抽样准确率约 72%，补齐model.eval()后明显回升但仍未达验证集，分离 eval transform 后回到 95% 附近，与验证集一致；同一请求重放多次预测完全相同。
常见失败：修复后数值仍对不上，多为推理侧Normalize的 mean / std 与训练时不一致，或nn.BatchNorm2d被误设track_running_stats=False——后者在 eval 模式仍用 batch 统计量，model.eval()无效，需要重新导出或显式固化统计量。
边界说明：以上只覆盖 PyTorchnn.Module的语义；torch.ao.quantization的校准流程、TensorRT 类图优化各有独立问题域。torch.inference_mode()与torch.no_grad()都不切换层行为，不能单独作为修复手段。
参考资料
- torch.nn.BatchNorm2d
- torch.nn.Module
- torch.no_grad
- torch.inference_mode
- torchvision.transforms
