从LeNet到ResNet：用NN-SVG和PlotNeuralNet复现经典网络架构图
在深度学习领域，理解神经网络的结构就像建筑师需要熟悉蓝图一样重要。许多初学者在阅读论文时，常常被那些复杂的网络架构图弄得晕头转向——卷积层、池化层、全连接层、跳跃连接，这些术语在二维纸面上看起来简单，但当它们以特定方式堆叠组合时，往往让人难以直观把握整体结构。
我至今记得第一次尝试理解ResNet时的困惑：那些跳跃连接到底是如何工作的？为什么152层的网络反而比34层的表现更好？直到我开始亲手绘制这些网络的结构图，一切才变得清晰起来。本文将分享两种我常用的工具——NN-SVG和PlotNeuralNet，它们能帮助你通过"动手画"的方式，真正掌握从LeNet到ResNet这些经典网络的结构精髓。
1. 为什么需要亲手绘制神经网络结构图
当我们只是被动地观看别人绘制的网络结构图时，大脑往往处于一种浅层处理状态。但当我们亲手绘制时，情况就完全不同了——我们需要思考每一层的输入输出尺寸、理解卷积核如何改变特征图的大小、明确跳跃连接的起点和终点。这种主动参与的过程能显著加深理解。
神经科学研究表明，动手绘制能激活大脑中与空间认知和记忆相关的区域。在绘制AlexNet的五个卷积层时，你会自然地注意到前三层使用了大卷积核(11x11,5x5)，而后两层则使用了小卷积核(3x3)。这种细节在被动阅读时很容易被忽略，但在绘制过程中却会变得异常明显。
提示：建议在绘制每个经典网络前，先查阅原始论文中的结构描述，这将帮助你理解设计者的初衷。
2. NN-SVG：交互式可视化入门利器
NN-SVG是MIT开发的一款开源工具，特别适合初学者快速上手。它提供了三种可视化风格：
- FCNN风格：用节点表示神经元，适合展示全连接网络
- LeNet风格：二维平铺展示，清晰显示特征图尺寸变化
- AlexNet风格：三维块状展示，更真实反映卷积过程
2.1 绘制LeNet-5结构
LeNet-5是卷积神经网络的鼻祖，结构相对简单但包含了CNN的基本要素。在NN-SVG中绘制它的步骤如下：
- 选择"LeNet style"模式
- 添加输入层：设置为32x32x1（原始论文使用32x32输入，尽管MNIST是28x28）
- 添加第一卷积层：5x5卷积核，6个滤波器，得到28x28x6特征图
- 添加平均池化层：2x2窗口，步长2，输出14x14x6
- 重复类似操作完成第二卷积和池化层
- 最后添加两个全连接层
# LeNet-5各层参数示例 layers = [ {'type':'conv', 'filters':6, 'kernel_size':5, 'stride':1}, # C1 {'type':'pool', 'pool_size':2, 'stride':2}, # S2 {'type':'conv', 'filters':16, 'kernel_size':5, 'stride':1}, # C3 {'type':'pool', 'pool_size':2, 'stride':2}, # S4 {'type':'fc', 'units':120}, # C5 {'type':'fc', 'units':84}, # F6 {'type':'fc', 'units':10} # Output ]2.2 可视化AlexNet的独特设计
AlexNet在2012年ImageNet竞赛中一战成名，其结构有几个关键创新点：
| 网络部分 | 创新设计 | 可视化要点 |
|---|---|---|
| 卷积层组 | 使用大卷积核(11x11)和ReLU激活 | 注意第一层的stride=4 |
| 归一化层 | 局部响应归一化(LRN) | NN-SVG中用特殊颜色标记 |
| 重叠池化 | 3x3池化窗口，stride=2 | 与传统池化的区别 |
| 双GPU设计 | 两个并行处理流 | 在3D视图中最明显 |
在NN-SVG的AlexNet风格下，这些特点都能得到清晰展示。特别是双GPU设计，在3D视图中会显示为两个并行的网络分支。
3. PlotNeuralNet：LaTeX精准绘图进阶工具
当我们需要更精确地控制网络图的每个细节时，PlotNeuralNet是更好的选择。它基于LaTeX的TikZ包，能生成出版级质量的网络图。
3.1 安装与基础配置
PlotNeuralNet需要Python和LaTeX环境。在Ubuntu系统下安装最为方便：
# 安装依赖 sudo apt-get install texlive-latex-extra sudo apt-get install python3-pip pip install git+https://github.com/HarisIqbal88/PlotNeuralNet.git3.2 绘制VGG-16网络
VGG-16以其规整的3x3卷积堆叠著称。用PlotNeuralNet绘制它的典型代码如下：
from pycore.tikzeng import * # 定义网络结构 arch = [ to_head('..'), to_cor(), to_begin(), # 输入层 to_input('input.jpg', width=8, height=8), # 卷积块1 (2层) to_Conv("conv1_1", 64, 224, offset="(0,0,0)", to="(0,0,0)", height=64, depth=64, width=2), to_Conv("conv1_2", 64, 112, to="(conv1_1-east)", height=64, depth=64, width=2), to_Pool("pool1", to="(conv1_2-east)", width=1, height=32, depth=32), # 卷积块2 (2层) to_Conv("conv2_1", 128, 56, to="(pool1-east)", height=32, depth=32, width=4), # ... 其他层类似 ]VGG网络的特点是大量使用3x3卷积核，这在PlotNeuralNet中可以清晰展示。每个卷积块包含2-3个卷积层后接一个最大池化层，这种重复模式在代码中也能很好体现。
3.3 处理ResNet的跳跃连接
ResNet的革命性创新是引入了残差连接（skip connection），这在PlotNeuralNet中有专门的处理方式：
# ResNet残差块示例 to_skip("res2_1", of='conv2_1', to='conv2_3', pos=1.25), to_ConvRes("conv2_3", 128, 56, to="(conv2_2-east)", height=32, depth=32, width=4, caption="Residual"),绘制时需要注意：
- 主路径和跳跃路径要用不同颜色区分
- 加法操作节点要明确标出
- 维度变化处要特别检查（如降采样时）
4. 工具对比与实战技巧
根据不同的需求，两个工具各有优劣：
| 特性 | NN-SVG | PlotNeuralNet |
|---|---|---|
| 上手难度 | 低 | 中高 |
| 可视化效果 | 美观 | 精确 |
| 交互性 | 强 | 弱 |
| 定制能力 | 有限 | 极高 |
| 输出格式 | SVG | PDF/TikZ |
| 适合场景 | 快速原型 | 论文出版 |
4.1 提高绘图效率的技巧
- 模板复用：为常用结构（如残差块、Inception模块）创建模板
- 分层绘制：先画主干再添加细节
- 版本控制：用Git管理网络图代码，特别是复杂结构
- 参数化：使用变量定义重复参数（如卷积核大小）
4.2 常见问题解决
- NN-SVG层数限制：对于超深网络(如ResNet152)，可以分段绘制后拼接
- PlotNeuralNet中文支持：需要在LaTeX头文件中添加
\usepackage{ctex} - 尺寸不对齐：检查各层的输入输出尺寸是否匹配论文描述
5. 从绘图到深入理解
绘制网络结构图不是最终目的，而是深入理解的手段。当你完成一个经典网络的绘制后，建议思考以下问题：
- 为什么设计者选择这样的层数和连接方式？
- 如果增加或减少某些层会怎样？
- 计算各层的参数数量，理解模型复杂度
- 尝试在现有结构中添加新的模块（如注意力机制）
以GoogLeNet的Inception模块为例，亲手绘制后你会更清楚理解其"网络中的网络"设计理念——1x1卷积用于降维，并行路径提取多尺度特征。
