人工神经网络与卷积神经网络入门
人工神经网络基础
在处理复杂函数建模时，深度模型展现出了独特的优势。一般而言，深度模型在对复杂函数进行建模时所需的参数更少。从相关示例中可以明显看出，尽管深度模型的参数数量大幅减少，但它仍能精确地逼近函数。
我们通常所说的前馈神经网络，确切地讲是全连接前馈神经网络。这是因为在这种网络中，每一层的每个神经元都与前一层的所有神经元相连接。对于像图像特征提取这类复杂函数的建模，往往需要深度神经网络。然而，在图像数据集上训练深度全连接网络是一项极具挑战性的任务，原因在于其参数数量过于庞大。
分类问题与线性模型
分类问题是机器学习中的重要领域，决策边界则是解决分类问题的关键概念。我们可以使用线性模型来对决策边界进行建模。为了更好地理解线性模型背后的原理，我们还从几何角度对其进行了研究。
线性模型需要在训练数据集上进行训练，因此需要一种方法来评估线性模型在训练样本分类中的性能。我们详细介绍了多种损失函数，包括 0/1 损失、平方损失、铰链损失和逻辑损失。
对于二分类模型扩展到多分类模型，有两种常见的方法：一对一和一对其余。此外，我们还展示了如何将二分类线性模型直接推广到多分类模型，这需要能够应用于多分类数据集的损失函数，例如将铰链损失和逻辑损失扩展到多分类场景。
线性模型的一个主要问题是，当数据集的类别不是线性可分时，其分类性能会显著下降。为了解决这个问题，我们引入了特征转换函数的概念，并通过一个简单的示例进行了说明。手动设计特征转换函数是一项繁琐的任务，尤其是在处理高维数据集时。更好的解决方案是直接从训练数据中学习特征转换函数，并在其基础上训练线性分类器。
