机器学习中的正则化-开发者社区

摘要：本文介绍了机器学习中用于防止过拟合的正则化技术，重点讲解了L1和L2正则化。L1正则化通过添加权重绝对值之和的惩罚项，促使模型产生稀疏权重；L2正则化则通过权重平方和的惩罚项减小权值大小。文章分别提供了使用scikit-learn库实现这两种正则化的Python代码示例，并展示了在波士顿房价数据集上的应用效果。正则化能有效控制模型复杂度，提高泛化能力。

机器学习中的正则化

L1 正则化

示例

输出结果

L2 正则化

示例

输出结果

机器学习中的正则化

在机器学习中，正则化是一种用于防止过拟合的技术 —— 过拟合指模型过于复杂，对训练数据拟合度过高，但无法泛化到新的、未见过的数据。正则化会在损失函数中引入惩罚项，促使模型采用更小的权重和更简单的结构，从而减少过拟合。

机器学习中常用的正则化技术有多种，包括 L1 正则化、L2 正则化、丢弃正则化（dropout）和早停法（early stopping）。本文将重点介绍最常用的 L1 和 L2 正则化。

L1 正则化

L1 正则化又称套索正则化（Lasso regularization），其核心是在损失函数中添加一个惩罚项，该惩罚项等于所有权重绝对值的和。L1 正则化的惩罚项公式为：λ × Σ |wᵢ|其中，λ 是控制正则化强度的超参数，wᵢ是模型中的第 i 个权重。

L1 正则化的作用是促使模型产生稀疏权重，即剔除对输出影响极小或无影响的权重，进而简化模型结构、减少过拟合。

示例

在 Python 中，可通过 scikit-learn 库的 Lasso 类实现 L1 正则化，以下是用于线性回归的示例代码：

from sklearn.linear_model import Lasso from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error # 加载波士顿房价数据集 boston = load_boston() # 将数据分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2, random_state=42) # 创建带有L1正则化的Lasso模型（alpha=0.1） lasso = Lasso(alpha=0.1) # 在训练集上训练模型 lasso.fit(X_train, y_train) # 在测试集上进行预测 y_pred = lasso.predict(X_test) # 计算预测结果的均方误差 mse = mean_squared_error(y_test, y_pred) print("均方误差:", mse)

输出结果

运行上述代码后，将得到以下输出：均方误差: 25.155593753934173

L2 正则化

L2 正则化又称岭回归正则化（Ridge regularization），其惩罚项为所有权重平方的和。L2 正则化的惩罚项公式为：λ × Σ (wᵢ)²其中，λ 是控制正则化强度的超参数，wᵢ是模型中的第 i 个权重。

L2 正则化的作用是促使模型采用小权重，即减小所有权重的数值大小，从而平滑模型输出、减少过拟合。

示例

在 Python 中，可通过 scikit-learn 库的 Ridge 类实现 L2 正则化，以下是用于线性回归的示例代码：

from sklearn.linear_model import Ridge from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error from sklearn.datasets import load_boston from sklearn.preprocessing import StandardScaler import numpy as np # 加载波士顿房价数据集 boston = load_boston() # 创建特征数组和目标数组 X = boston.data y = boston.target # 对特征数据进行标准化处理 scaler = StandardScaler() X = scaler.fit_transform(X) # 将数据分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 定义带有L2正则化的岭回归模型（alpha=0.1） model = Ridge(alpha=0.1) # 在训练集上训练模型 model.fit(X_train, y_train) # 在测试集上进行预测 y_pred = model.predict(X_test) # 计算预测结果的均方误差 mse = mean_squared_error(y_test, y_pred) print("均方误差: ", mse)