卷积神经网络设计与评估全解析
1. 卷积神经网络架构设计
在设计卷积神经网络（ConvNet）时，虽然没有绝对的黄金法则，但有一些实用的经验法则，这些法则在许多成功的架构中都能找到。
1.1 基本架构组成
ConvNet 通常由几个卷积 - 池化层，后面跟着几个全连接层组成，最后一层总是输出层。从另一个角度看，ConvNet 是一个有一个叶节点的有向无环图（DAG），图中的每个节点代表一个层，边表示层与层之间的连接。
设计 ConvNet 时，可以使用类似图 3.12 所示的 DAG 图。可以定义其他节点或把几个节点合并为一个节点，设计任意的 DAG 来表示 ConvNet，但要遵循两个规则：
- 规则一：ConvNet 中总是有一个叶节点，代表分类层或损失函数。在 ConvNet 中有多个分类层是没有意义的。
- 规则二：一个节点的输入必须具有相同的空间维度。例外情况是拼接节点，在拼接节点处可以在空间上拼接输入。只要在 DAG 中遵循这两个规则，架构就是有效的。并且，DAG 中节点代表的所有操作都必须是可微的，这样才能在图上应用反向传播算法。
1.2 经验法则
- 特征图大小计算：要始终计算 DAG 中每个节点的特征图大小。通常，连接到全连接层的节点的空间大小小于 8×8，常见的大小有 2×2、3×3 和 4×4。不过，连接到全连接层的节点的通道（第三维）可以是任意大小。
- 特征图数量与深度关系：特征图的数量通常与 DAG 中每个节点的深度有直接关系。即早期层的特征图数量较少，随着节点深度的增加，
