10.2 多层感知机：万能近似定理与深度重要性
多层感知机是构成现代深度神经网络最基础的架构，其由输入层、一个或多个隐藏层以及输出层组成，层间通过全连接方式传递信息。MLP的核心价值在于其理论上能够逼近任意复杂的连续函数，这一性质由万能近似定理所保证。然而，理论上的可行性并不等同于实践中的高效性，这引出了对网络“深度”重要性的深入探讨：为何以及何时深度结构比浅层但极宽的结构更具优势。本节将系统阐述万能近似定理的数学内涵及其局限性，并从表示效率、层次特征学习和优化特性等多个维度，分析深度在神经网络中的核心作用。
10.2.1 万能近似定理：能力与局限
万能近似定理为前馈神经网络的强大表达能力提供了坚实的数学基础。该定理指出，一个具有单隐藏层且隐藏层包含足够多神经元的前馈神经网络，可以以任意精度逼近在一个紧致子集上的任何连续函数。
10.2.1.1 定理的经典表述
多个研究团队在1980年代末至1990年代初独立证明了该定理的不同版本。一个广为引用的表述由Hornik、Stinchcombe和White在1989年给出[1]。设σ\sigmaσ为连续且有界的非常值函数（如Sigmoid函数），ImI_mIm表示mmm维单位超立方体[0,1]m[0,1]^m[0,1]m。对于任意连续函数f:Im→Rf: I_m \rightarrow \mathbb{R}f:
