【医学图像算法手册004】ResNet 与 DenseNet 的结构原理与医学图像应用

【医学图像算法手册004】ResNet 与 DenseNet 的结构原理与医学图像应用

概述

在医学图像分析中，卷积神经网络通常需要具备较大的感受野和较强的特征表达能力，以刻画器官结构、病灶形态及其上下文关系。单纯通过增加网络深度来提升表达能力，往往会引入训练不稳定和性能退化问题。ResNet与DenseNet通过引入结构性连接机制，从网络拓扑层面缓解了上述问题，已成为医学图像特征提取中最常用的两类骨干网络。

一、深层网络的退化问题及其在医学图像中的表现

1.1 网络退化问题的形式化描述

设深度卷积网络由LLL个非线性映射构成，其中lll层的输出xl\mathbf{x}_lxl​为：

xl=Fl(xl−1),l=1,…,L\mathbf{x}_l = \mathcal{F}_l(\mathbf{x}_{l-1}), \quad l = 1, \dots, Lxl​=Fl​(xl−1​),l=1,…,L

在网络训练的反向传播过程中，关于初始输入x0\mathbf{x}_0x0​的损失函数L\mathcal{L}L梯度为多层导数的连乘：

∂L∂x0=∏l=1L∂Fl∂xl−1\frac{\partial \mathcal{L}}{\partial \mathbf{x}_0} = \prod_{l=1}^{L} \frac{\partial \mathcal{F}_l}{\partial \mathbf{x}_{l-1}}∂x0​∂L​=l=1∏L​∂xl−1​