神经网络模型可视化实战：从特征图到Grad-CAM的完整工具链

简介：这份PDF文档面向从事深度学习研究的专业人士与关注神经网络可视化的技术开发者，聚焦神经网络“黑盒子”特性带来的理解与调参难题。内容梳理了可视化技术的兴起背景、主流方法、经典网络模型（如LeNet-5、AlexNet、Inception、ResNet）以及Draw_Convnet、NN-SVG、TensorBoard、Netron等工具的特点与优劣，并探讨可视化在诊断优化网络、理解模型内部特征提取过程中的应用，展望未来研究趋势。资源包为1个PDF文件，大小约1.96MB，便于随时查阅与收藏。目前已有459人学习。读者可借此系统了解卷积核与卷积层特征的可视化分析思路，减少训练中的盲目调参与试错，同时为医疗、金融、自动驾驶等场景的模型可解释性提供参考，适合作为该方向入门与进阶的工具选型指南。

1. 训练完一个 CNN，除了准确率你还能看到什么

你花了两天训完一个卷积神经网络，验证集准确率 94.3%，损失曲线平滑下降，看起来一切正常。但老板问了一句「它到底学到了什么」，你打开终端，除了那串数字，什么都说不出来。这不是个例。深度学习模型长期被当成黑匣子，权重是几百万个浮点数，前向传播是矩阵乘法堆叠，你没法像调试普通代码那样打断点看中间状态。神经网络模型可视化要解决的就是这个问题：把不可见的特征、注意力、决策边界、层级结构变成人能看懂的东西。它适合三类人：刚入门深度学习、想搞明白卷积层到底在提取什么特征的工程师；模型效果卡住、需要定位是数据问题还是结构问题的调参者；以及要把模型交付给非技术方、需要解释依据的落地团队。这一篇不讲论文综述，只讲我实际用过的工具链、参数怎么设、哪些图看着漂亮但没用。

2. 从权重到特征图：神经网络可视化到底在可视什么

2.1 四类可视化对象与对应工具选型

很多人一上来就找「可视化工具」，但没想清楚要可视化的对象是什么。神经网络内部可看的东西大致分四层，每层对应的工具和产出完全不同。

第一层是结构可视化，把网络层数、连接关系、张量维度画成图。工具选 Netron 或 torchviz，前者直接读模型文件，后者从计算图导出。结构图的价值在于检查维度是否对得上、有没有意外的分支，不是用来展示给外行看的。

第二层是权重与特征图可视化，看卷积核长什么样、某一层输出的 feature map 激活在哪些区域。工具用 PyTorch 的 hook 机制配合 matplotlib，或者 Captum 的visualize_image_attr。这是排查「模型是不是只学了背景」最直接的手段。

第三层是注意力与显著性可视化，看模型做决策时关注输入的哪部分。Grad-CAM、Grad-CAM++、Score-CAM 是主流，Captum 和 pytorch-grad-cam 两个库都能做。适合分类、检测、分割任务的解释。

第四层是嵌入空间可视化，把高维特征降维到二维看聚类。工具用 t-SNE、UMAP 配合 matplotlib 或 TensorBoard 的 Projector。适合判断特征提取器是否把不同类别分开了。

选型逻辑很简单：调结构看第一层，查数据质量看第二层，做解释交付看第三层，评估特征质量看第四层。别指望一个工具全包。

2.2 用 PyTorch hook 抓取中间层特征图的最小实现

结构图用 Netron 打开就行，真正需要写代码的是特征图抓取。核心是register_forward_hook，在目标层挂一个回调，前向传播时把输出存下来。

import torch import torch.nn as nn import matplotlib.pyplot as plt # 假设 model 是已训练好的 CNN，target_layer 是你要看的卷积层 features = {} # 用字典存，避免闭包变量作用域问题 def get_features(name): def hook(module, input, output): # output 形状通常是 [batch, channel, height, width] features[name] = output.detach() return hook # 挂到指定层，名字自己起，方便后面取 target_layer = model.conv2 # 按你的模型结构改 handle = target_layer.register_forward_hook(get_features('conv2')) # 前向传播一张图 model.eval() with torch.no_grad(): _ = model(img_tensor.unsqueeze(0)) # 取特征图，取第一个 batch 的前 16 个通道画出来 feat = features['conv2'][0] # [C, H, W] fig, axes = plt.subplots(4, 4, figsize=(8, 8)) for i, ax in enumerate(axes.flat): if i < feat.shape[0]: ax.imshow(feat[i].cpu().numpy(), cmap='viridis') ax.axis('off') plt.tight_layout() plt.savefig('feature_maps.png', dpi=150) handle.remove() # 用完必须移除，否则多次前向会累积内存

这段代码的关键点有三个。detach()必须加，否则特征图挂在计算图上，显存会爆。handle.remove()必须调，我见过有人忘了移除，跑验证集时内存一路涨到 OOM。通道数超过 16 时只画前 16 个，因为人眼一次看不了太多，多了反而看不出模式。

参数上，cmap选viridis或gray都行，viridis对激活强度对比更明显。如果特征图尺寸太大（比如 112×112），先做torch.nn.functional.adaptive_avg_pool2d降到 28×28 再画，不然一张图占满屏幕还看不清。

2.3 Grad-CAM 的输入输出与三个必调参数

特征图看的是「激活了什么」，Grad-CAM 看的是「哪里对分类最重要」。原理不展开，直接说用法。用pytorch-grad-cam库：

from pytorch_grad_cam import GradCAM from pytorch_grad_cam.utils.image import show_cam_on_image import numpy as np # target_layers 必须是模型的最后一个卷积层，不能是全连接 target_layers = [model.layer4[-1]] cam = GradCAM(model=model, target_layers=target_layers) # input_tensor 形状 [1, C, H, W]，rgb_img 是 [H, W, 3] 的 0-1 浮点图 grayscale_cam = cam(input_tensor=input_tensor, targets=None) # targets=None 取预测类别 grayscale_cam = grayscale_cam[0, :] visualization = show_cam_on_image(rgb_img, grayscale_cam, use_rgb=True) plt.imshow(visualization) plt.savefig('gradcam.png', dpi=150)

三个必调参数：target_layers选最后一个卷积层，选早了感受野不够，热力图会碎；targets不传时默认用预测类别，如果要看某个特定类别的关注区域，传[ClassifierOutputTarget(281)]这样的索引；reshape_transform在 ViT 或 Swin Transformer 上必须传，因为它们的特征图不是[B,C,H,W]格式，需要自己写一个把 patch 序列还原成二维的变换。

热力图翻车的常见原因是输入没归一化。show_cam_on_image要求rgb_img是 0 到 1 的浮点，如果你传了 0 到 255 的 uint8，出来的图会全白或全黑。这个坑我踩过不止一次。

3. 把可视化接进训练流程：TensorBoard 与 Captum 的配合

3.1 TensorBoard 记录标量、图像与嵌入的配置

单次画图解决的是「看一眼」，训练过程中持续记录才能看出演化。TensorBoard 是 PyTorch 生态里最省事的方案，torch.utils.tensorboard.SummaryWriter直接写。

from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter('runs/exp_001') for epoch in range(epochs): # ... 训练代码 ... writer.add_scalar('Loss/train', train_loss, epoch) writer.add_scalar('Loss/val', val_loss, epoch) writer.add_scalar('Acc/val', val_acc, epoch) # 每 5 个 epoch 记录一次特征图，别每轮都记，文件会巨大 if epoch % 5 == 0: writer.add_image('Feature/conv2', feat_grid, epoch, dataformats='CHW') # 记录权重分布，看有没有梯度消失 for name, param in model.named_parameters(): writer.add_histogram(f'Weight/{name}', param, epoch) # 嵌入可视化：把最后一层特征和标签写进去 writer.add_embedding(features, metadata=labels, global_step=epoch, tag='embedding') writer.close()

add_embedding是很多人忽略的功能，它把高维特征存下来，在 TensorBoard 的 Projector 面板里用 PCA 或 t-SNE 交互式看聚类。metadata传标签列表，颜色会自动按类别区分。注意features要是[N, D]的二维张量，别传成[N, C, H, W]，否则 Projector 打不开。

add_histogram记录权重分布，是判断梯度消失/爆炸的快速手段。如果某一层权重分布随着 epoch 越来越窄，基本就是梯度没传过去。这个比看 loss 曲线更早发现问题。

3.2 Captum 做归因分析的三种方法对比

Captum 是 PyTorch 官方的可解释性库，比手写 Grad-CAM 更规范。三种常用方法：

from captum.attr import IntegratedGradients, Saliency, Occlusion # IntegratedGradients 需要基线，图像任务一般用全黑图 ig = IntegratedGradients(model) attributions = ig.attribute(input_tensor, baselines=torch.zeros_like(input_tensor), target=pred_class) # attributions 形状和输入一致，取通道绝对值求和得到 [H, W] 热力图 attr_map = attributions.squeeze(0).abs().sum(dim=0).cpu().numpy()

IntegratedGradients的n_steps默认 50，调大到 200 结果更平滑但慢四倍。实际用 50 到 100 就够。Occlusion的sliding_window_shapes要按输入尺寸设，图像一般用(3, 15, 15)，文本用(1, 1)逐词遮挡。

Captum 和 Grad-CAM 的区别：Grad-CAM 给的是粗粒度区域热力图，Captum 的归因是像素级。做交付报告时 Grad-CAM 更直观，做模型诊断时 Captum 更细。两个都装不冲突。

3.3 用 UMAP 替代 t-SNE 的三个理由

嵌入可视化默认用 t-SNE，但我现在更倾向 UMAP。三个理由：t-SNE 的困惑度参数对结果影响大，同一份数据换perplexity从 5 到 50 能画出完全不同的图；t-SNE 不保留全局结构，簇间距离没有意义；UMAP 快得多，十万级样本 t-SNE 要跑十几分钟，UMAP 一两分钟。

import umap reducer = umap.UMAP(n_neighbors=15, min_dist=0.1, metric='euclidean', random_state=42) embedding_2d = reducer.fit_transform(features.numpy()) # features 是 [N, D] plt.figure(figsize=(8, 6)) scatter = plt.scatter(embedding_2d[:, 0], embedding_2d[:, 1], c=labels, cmap='tab10', s=5, alpha=0.7) plt.colorbar(scatter) plt.savefig('umap_embedding.png', dpi=150)

n_neighbors控制局部和全局的平衡，调小看局部细节，调大看全局结构，15 到 50 是常用范围。min_dist控制点之间的紧凑程度，0.1 适合看聚类，0.5 适合看连续分布。random_state固定住，不然每次跑图都不一样，没法对比。

4. 可视化翻车现场：五个我踩过的坑

4.1 热力图全白或全黑

现象：Grad-CAM 出来的图要么一片白要么一片黑，看不出任何关注区域。

原因：输入图像没有归一化到show_cam_on_image要求的 0 到 1 范围，或者模型输出没有经过 softmax，梯度尺度异常。

解决：在调用前加一行rgb_img = (rgb_img - rgb_img.min()) / (rgb_img.max() - rgb_img.min())强制归一化。同时确认model.eval()和torch.no_grad()之外，Grad-CAM 内部需要梯度，所以不能包在no_grad里。

4.2 特征图内存暴涨

现象：训练循环里加了特征图记录，跑几个 epoch 后显存或内存爆掉。

原因：register_forward_hook存下来的output如果没detach()，会一直挂在计算图上，每个 batch 都累积。

解决：hook 里第一行就写output.detach()，并且用完handle.remove()。如果要在训练中持续记录，每记录一次就清空字典features.clear()。

4.3 TensorBoard 嵌入面板打不开

现象：add_embedding写了数据，TensorBoard 的 Projector 标签页一直转圈或报错。

原因：features传了四维张量，或者metadata长度和特征数对不上。

解决：写之前features = features.view(features.size(0), -1)展平。metadata用 list 不要用 tensor。另外 TensorBoard 的 Projector 对超过 10 万点的数据会卡，采样到 1 万点以内。

4.4 ViT 的 Grad-CAM 形状报错

现象：在 Vision Transformer 上跑 Grad-CAM 报维度不匹配。

原因：ViT 的中间输出是[B, num_patches, dim]，不是 CNN 的[B, C, H, W]，show_cam_on_image处理不了。

解决：传reshape_transform参数，写一个函数把 patch 序列还原成二维：

def reshape_transform(tensor, height=14, width=14): # tensor: [B, num_patches, dim]，去掉 cls token result = tensor[:, 1:, :].reshape(tensor.size(0), height, width, tensor.size(2)) # 转成 [B, dim, H, W] return result.permute(0, 3, 1, 2)

height和width按模型输入尺寸除以 patch 大小算，ViT-B/16 输入 224 时是 14。

4.5 可视化结果和模型表现对不上

现象：热力图看着很合理，但模型在测试集上就是错。

原因：可视化用的是训练集样本，模型过拟合了。或者热力图只反映了「模型看了哪里」，不反映「看得对不对」。

解决：可视化必须用验证集或测试集样本，并且和预测结果一起看。如果热力图高亮区域在目标物体上但分类错了，说明特征提取没问题，是分类头或数据标签的问题。如果高亮在背景上，才是特征提取的问题。这个区分能省很多调参时间。

5. 把可视化做成可复用的诊断脚本

单次画图是手工作坊，真正省时间的是把可视化封装成训练后的自动诊断流程。我的习惯是每个项目建一个diagnose.py，输入模型和验证集，输出一份包含五张图的报告：混淆矩阵、Grad-CAM 抽样、特征嵌入 UMAP、权重分布直方图、错误样本 top-10。

def diagnose(model, val_loader, device, save_dir='diagnose'): import os os.makedirs(save_dir, exist_ok=True) model.eval() all_preds, all_labels, all_feats = [], [], [] # 注册最后一层特征的 hook feats = {} handle = model.avgpool.register_forward_hook( lambda m, i, o: feats.update({'out': o.detach().flatten(1)}) ) with torch.no_grad(): for imgs, labels in val_loader: imgs = imgs.to(device) logits = model(imgs) preds = logits.argmax(dim=1).cpu() all_preds.append(preds) all_labels.append(labels) all_feats.append(feats['out'].cpu()) handle.remove() all_preds = torch.cat(all_preds) all_labels = torch.cat(all_labels) all_feats = torch.cat(all_feats) # 1. 混淆矩阵 from sklearn.metrics import ConfusionMatrixDisplay ConfusionMatrixDisplay.from_predictions(all_labels, all_preds, normalize='true') plt.savefig(f'{save_dir}/confusion.png', dpi=150) plt.close() # 2. UMAP 嵌入 reducer = umap.UMAP(n_neighbors=30, min_dist=0.1, random_state=42) emb = reducer.fit_transform(all_feats.numpy()) plt.scatter(emb[:, 0], emb[:, 1], c=all_labels, cmap='tab10', s=3) plt.savefig(f'{save_dir}/umap.png', dpi=150) plt.close() # 3. 错误样本索引，后续手动看 Grad-CAM wrong_idx = (all_preds != all_labels).nonzero(as_tuple=True)[0] return wrong_idx

这个脚本的价值在于把「训练完不知道下一步干嘛」变成「跑一遍诊断，按图索骥」。混淆矩阵告诉你哪两类在混，UMAP 告诉你特征空间有没有分开，错误样本索引让你直接定位到具体图片去看 Grad-CAM。三个信息合起来，大部分模型问题都能定位到是数据、结构还是训练策略。

一个具体技巧：UMAP 图里如果两个类别的点完全重叠，别急着改模型结构，先检查这两类的标签是不是有歧义。我遇到过一次猫和狗分不开，最后发现是数据标注时把几张狗标成了猫。可视化在这里起的是「数据质量检查」的作用，比调参有用得多。

最后说个习惯。我现在每个模型训完，不管效果好坏，都先跑一遍诊断脚本存图。效果好的时候存图是为了以后对比，效果差的时候存图是为了找原因。这些图攒多了会发现，模型出问题的模式就那么几种，看多了就有直觉了。希望帮到你。

本文还有配套的精品资源，点击获取