线性回归算法代码实战：数据预处理、梯度下降与模型落盘

简介：这份压缩包围绕机器学习中最基础的线性回归算法，面向刚入门数据分析与预测建模的初学者，以及需要快速上手Python实现的开发者。整体共3个文件，包含两个Python脚本和一份Word文档，压缩包大小324KB。脚本分别覆盖简单线性回归与多元线性回归场景，含数据读取、训练集/测试集划分、模型拟合与R²分数评估等关键环节；Word文档则对线性回归原理、最小二乘法、特征缩放与过拟合处理做了补充说明，便于边看代码边理解理论。已有1086人学习下载，足以说明其在入门阶段的实用价值。通过这份代码包，读者可直观掌握sklearn中LinearRegression的基本用法，并学会用最小二乘法拟合最佳直线，解决房价预测、销售量预测等实际回归任务；同时也能意识到多重共线性、非线性分布等局限，为后续学习岭回归、Lasso或多项式回归打下基础。

1. 线性回归算法代码.zip：先跑通，再读源码，最后改成自己的预测流水线

看到「线性回归算法代码.zip」这样一个压缩包，先别急着解压读代码。我不是第一次接手这种包：解压出来一个 .py 或 .ipynb，作者自己跑通过，但你一运行就报错，缺依赖、数据结构对不上、版本不兼容。这个包真正值钱的地方不在公式推导，而在于它把「读数据 → 训练 → 验证 → 落盘」串成了一条能复现的流水线。这篇笔记就顺着这条流水线拆开讲：数据怎么进、梯度怎么更新、指标怎么看、哪几个地方最容易翻车。按步骤走，新手能跑通并改写成自己的回归任务，熟手能直接拿去当基线模板。

2. 把数据喂进回归前：解压、清洗、切分，三步决定模型上限

线性回归的代码往往只有几十行，真正的活全在数据准备。zip 解压之后先别急着读核心训练函数，我一般按「看依赖 → 建虚拟环境 → 跑最小脚本 → 清洗切分」的顺序来。很多人拿到代码直接python main.py，被一堆 ModuleNotFoundError 打断，然后开始逐个 pip install，装完又发现版本冲突，白白浪费一下午。

2.1 先分清 zip 包里装的是演示代码还是工程代码

多数「线性回归算法代码.zip」打开后有两种形态。第一种是单文件演示脚本，常见写法是 sklearn 的LinearRegression加一个内置数据集，或者自己造一组y = 2x + 3的合成数据，目的是把 API 走一遍，代码通常不到一百行。第二种是带目录结构的工程包，里面可能有data/、models/、utils/，附带 README 和 requirements.txt，这种才值得当项目来维护。

拿到包之后第一件事是解压，看文件清单里有没有requirements.txt或environment.yml。有的话先建虚拟环境再装依赖，没有的话按本机已有 Python 版本先跑一次最小脚本，缺什么补什么。这里有个经验：不要一上来就在原代码里找 bug，先在新环境里完整跑一遍，把报错信息收集清楚再动手改。报错本身比代码细节更能说明问题——缺哪个模块、哪一行的 API 失效，都会直接告诉你环境差距在哪。

2.2 最小可跑脚本：读取 CSV、缺失值处理与训练集切分

解压之后的第一段代码，我通常把数据读取、缺失值处理和切分单独拎出来写。这部分的选型直接影响后面所有步骤：

import pandas as pd from sklearn.model_selection import train_test_split df = pd.read_csv("housing.csv") # 数值列缺失率低时用中位数填充，中位数比均值更抗离群点 num_cols = df.select_dtypes(include=["number"]).columns df[num_cols] = df[num_cols].fillna(df[num_cols].median()) # 类别列用众数填充；缺失比例过高时直接加一列 is_missing 作为特征 cat_cols = df.select_dtypes(include=["object"]).columns for c in cat_cols: df[c] = df[c].fillna(df[c].mode()[0]) X = df.drop(columns=["price"]) y = df["price"] # random_state 固定随机种子，保证每次运行切分结果一致 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, shuffle=True )

逻辑说明：缺失值填充不是越复杂越好，线性回归对填充方式不敏感，中位数比均值稳妥是因为它不会被极端值拉偏。shuffle=True用于打乱顺序，避免原始数据按时间或地区排列时，某种分布被整段切进训练集或测试集。random_state=42固定随机种子，保证你每次运行、别人在你机器上运行，切分结果完全一致——这一点在复现别人的 zip 时尤其重要，种子不同测试集就不同，指标对不上会排查到怀疑人生。

参数说明：test_size在样本量几千以内取 0.2 或 0.3 都常见；样本量超过 10 万时取 0.1 就够。random_state可以是任意整数，但整个项目里只用一个固定值，不要在多个脚本里各写各的，否则对比实验时你根本分不清指标差异来自模型还是来自数据切分。

2.3 归一化与标准化：什么时候必须做，什么时候做了反而错

这一条是 zip 代码里最容易埋坑的地方。核心原则是：梯度下降实现，必须归一化；正规方程和 sklearn 的LinearRegression，不归一化也能算，但解释性和稳定性会变差。归一化常用两种：StandardScaler标准化到均值为 0、方差为 1，MinMaxScaler缩放到 0~1 区间。如果用的是岭回归或 Lasso 这种带 L2/L1 惩罚的变体，必须标准化，否则惩罚项会对大尺度特征施加不成比例的压力。

反过来，什么时候做了反而错：对哑变量做标准化，会把 0/1 变成负数和超过 1 的小数，解释性全丢；对稀疏特征做标准化会破坏稀疏结构，本来大部分元素是 0，标准化后变成一堆非零浮点数，内存和计算开销直线上升。

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test)

这一段有一个反复出现的坑：fit_transform只用于训练集，测试集只调transform，不能重新 fit。测试集的均值和方差必须来自训练集，否则相当于把测试集的信息提前泄漏给了模型。很多从 zip 里拷出来的代码图省事，对整个 X 做fit_transform，训练时指标漂亮，上线后翻车的也是它。

2.4 zip 解压就会踩的坑：伪加密与损坏包

这和回归算法本身无关，但和「代码.zip」强相关。有的 zip 传了几手之后，头部信息被某些压缩软件写坏，解压时提示需要密码，而作者明明没加密。先别急着找密码软件，查一下是不是伪加密。命令行里用zipinfo -v能看到加密标志，更快的办法是直接用 7-Zip 解压，它对错误加密标志的容忍度比系统自带解压工具高。如果提示could not find EOCD，说明文件不完整或扩展名不对，检查下载是否中断，别把 .rar 改名成 .zip 来硬解。这类问题本质是压缩包本身的状态问题，不值得花时间研究底层格式，换个工具就能定位。

3. 核心训练代码：正规方程与梯度下降，两种写法的选型边界

线性回归的训练代码有两条路：闭式解和迭代求解。zip 里如果两种都写了，要先跑闭式解拿一个基准指标，再对比梯度下降的结果，这样能快速判断梯度实现有没有写错。选哪条路不取决于「哪个更高级」，而是看特征矩阵的规模和形态。

3.1 正规方程：适合小样本的闭式解

当特征数远小于样本量时，直接走闭式解。公式是w = (X^T X)^{-1} X^T y，在 numpy 里实现只有几行：

import numpy as np def linear_regression_normal_equation(X, y): # 手动加一列 1 作为偏置项，比在 sklearn 里设 fit_intercept 更直观 X_design = np.column_stack([np.ones(X.shape[0]), X]) # pinv 比 inv 更稳：X^T X 奇异时仍在最小二乘意义下有解 theta = np.linalg.pinv(X_design.T @ X_design) @ X_design.T @ y return theta theta = linear_regression_normal_equation(X_train_scaled, y_train) print("intercept:", theta[0]) print("coefficients:", theta[1:])

逻辑说明：正规方程的本质是把损失函数对参数求导并令导数为零。用pinv伪逆代替inv是关键动作，当特征存在多重共线性时X^T X不可逆，直接inv会抛Singular matrix，伪逆能退一步给出一组最小范数解，保证代码不崩。

参数注意：设计矩阵第一列加 1 是为了吸收偏置项，如果原始数据已经中心化，这一列可加可不加，但不加时输出接口要对应调整。正规方程的时间复杂度是 O(n^3)，n 是特征数。特征数在两千以内没问题，上万时求逆开始吃力，这时候应该切换到梯度下降。

3.2 梯度下降：批量、随机与小批量的取舍

手写梯度下降是理解线性回归的最短路径。批量梯度下降每次迭代用全量样本计算梯度，收敛稳定但慢；随机梯度下降每步只用一个样本，快但震荡厉害；小批量梯度下降取中间值，也是目前实际项目里最常用的形态。

def batch_gradient_descent(X, y, lr=0.01, epochs=500): m, n = X.shape X_design = np.column_stack([np.ones(m), X]) theta = np.zeros(n + 1) for epoch in range(epochs): # 梯度公式：2/m * X^T @ (X @ theta - y) residual = X_design @ theta - y grad = (2 / m) * X_design.T @ residual theta -= lr * grad if epoch % 100 == 0: loss = np.mean(residual ** 2) print(f"epoch {epoch}, loss {loss:.4f}") return theta

逻辑说明：grad的表达式拆开看是三步矩阵运算：X_design @ theta是当前预测值，与y相减得到残差，再用X_design.T左乘，相当于让每个特征与残差做相关性运算，相关性越大梯度越大，参数更新越多。学习率lr决定步长，epochs是迭代上限。

参数说明：lr=0.01只是一个起步值。数据归一化后，0.01 到 0.1 之间通常有可用区间；没归一化时，大尺度特征会逼你把学习率压到 1e-6 级别——你会直观感受到上一章强调标准化的原因。epochs不要拍脑袋设一万，设一个足够大的值配合提前停止：记录历史最优参数，当连续多轮 loss 不再下降就停。教学代码喜欢固定迭代次数，工程代码更看重收敛判断，这也是很多示例代码讲解不会提到的差异。

3.3 学习率与迭代次数：两个让新手翻车最多的参数

学习率调参不靠猜，先画 loss 曲线。loss 在训练初期震荡剧烈下不去，大概率是学习率偏大，降到 0.001 再试。loss 下降很慢但曲线顺滑，说明学习率偏小，适当调大。学习率取到 1e-3 到 1e-5 还在发散，先检查特征有没有归一化，再检查梯度公式里是不是多乘或少除了样本数。

迭代次数也有一个常被忽略的细节：把迭代次数减半再跑一次，如果 500 轮到 1000 轮 loss 只变化了 0.001，那 2000 轮也救不回来，问题出在特征组合或数据质量上，不在迭代次数。调参到一定程度后我把这部分叫玄学，其实事后看都是数据和特征工程的问题，参数只是背锅的。

注意：正规方程解法不存在学习率，如果 zip 代码里同时出现两种解法，先跑正规方程得到基准指标，再调梯度下降去逼近它。两者结果对不上时，优先怀疑梯度实现，别怀疑数学。

4. 验证与诊断：R²、残差图和交叉验证，线的质量怎么看

训练代码跑通了，接下来才是真正区分演示代码和可用代码的地方：验证。很多 zip 包跑到model.fit就结束了，最多打印一个 accuracy 或 loss 就收工。但对回归任务，只看一个指标远远不够，还需要残差图和交叉验证来交叉确认模型没有在特定数据划分上碰运气。

4.1 回归任务的四个核心指标：MSE、RMSE、MAE、R²

很多包把 R² 单独拿出来当结论，实际项目中四个指标要一起看。R² 高不代表误差小——它度量的是模型相对「直接预测均值」的改进幅度，如果测试集本身方差很小，R² 会虚高。RMSE 和 MAE 的差距能反映离群点：如果 RMSE 明显大于 MAE，说明存在少数样本预测偏差很大，这时别急着加特征，先去看那几条样本是不是数据本身就有问题。这是我做回归验证的一条血泪经验。

from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score y_pred = model.predict(X_test_scaled) # squared=False 直接得到 RMSE，避免手动开根号 mse = mean_squared_error(y_test, y_pred) rmse = mean_squared_error(y_test, y_pred, squared=False) mae = mean_absolute_error(y_test, y_pred) r2 = r2_score(y_test, y_pred) print(f"MSE={mse:.4f}, RMSE={rmse:.4f}, MAE={mae:.4f}, R2={r2:.4f}")

需要提醒的是squared参数在较新的 sklearn 里已有调整，老版本没有这个参数时会直接返回 RMSE 的平方根关系，注意版本差异。

4.2 用残差图判断线性假设是否成立

线性回归隐含假设是残差独立同分布且均值为零。不满足这个假设也能拟合出系数，但置信区间和预测区间不可信。画残差图是最直接的诊断方式：

import matplotlib.pyplot as plt residuals = y_test - y_pred plt.scatter(y_pred, residuals, alpha=0.6) plt.axhline(0, color="red", linestyle="--") plt.xlabel("Predicted value") plt.ylabel("Residual") plt.title("Residual Plot") plt.show()

观察重点有两个。第一个是漏斗形：残差随预测值增大呈喇叭口散开，说明 y 的方差在随均值增大，这是典型的异方差，常见做法是对 y 取对数，或改用加权最小二乘。第二个是弯曲：残差呈现明显的曲线形态，说明模型漏了非线性项或交互项，这时在特征里补一个平方项或交叉项再试。注意，残差图必须基于测试集，训练集残差图在过拟合时也会显得很「干净」，那是一种假象。

4.3 交叉验证：把单次划分的运气成分抹掉

随机划分只给一个测试集，样本少时指标波动大。用 K 折交叉验证更稳妥：

from sklearn.model_selection import KFold, cross_val_score from sklearn.linear_model import LinearRegression model = LinearRegression() kfold = KFold(n_splits=5, shuffle=True, random_state=42) # scoring="r2" 表示每一折都计算 R²，sklearn 返回的是每个折的得分数组 scores = cross_val_score(model, X_train_scaled, y_train, cv=kfold, scoring="r2") print(scores) print(f"平均 R2 = {scores.mean():.4f} ± {scores.std():.4f}")

参数说明：n_splits=5表示数据被切成 5 份，每轮用 4 份训练、1 份验证，跑五轮后取平均。scoring="r2"也可以用neg_mean_squared_error，注意 sklearn 把损失类指标统一加了负号，值越接近 0 越好。交叉验证的 R² 比单次划分低 0.03 到 0.05 都属正常，那点差距就是单次划分的乐观偏差。

交叉验证是 zip 教学代码里最常被砍掉的部分，很多示例只跑一次train_test_split就下结论。实际项目里至少补一个 5 折交叉验证，尤其是当样本量只有几千时，单次划分的指标波动大到能影响你判断「特征到底有没有用」。

5. 常见问题排查：复现线性回归代码最容易翻车的五个细节

这一章写给真正在跑别人代码的人。zipped code 最大的问题不是算法本身，而是环境与数据细节。以下五条是我在复现线性回归代码时遇到过、也帮别人定位过的高频故障，每条按「现象 → 原因 → 解决」写，可以直接对照排查。

5.1 矩阵求逆报错：LinAlgError: Singular matrix

现象：跑正规方程解法时抛奇异矩阵错误，公式看起来完全标准，代码却崩在np.linalg.inv。原因：特征存在多重共线性，两列强相关甚至完全线性相关；或者样本量小于特征数，矩阵本身不满秩。解决：先打印相关性矩阵，删掉相关性绝对值超过 0.9 的冗余列；临时把np.linalg.inv换成np.linalg.pinv，保证能算出结果；如果加了正则项，直接用岭回归更干净。

5.2 损失函数输出 NaN：梯度爆炸还是数据里有脏值

现象：训练到第几十轮，loss 打印变成nan，预测结果也是一片nan。原因：最常见的是学习率偏大导致参数发散，其次是特征没归一化，梯度数值溢出 float 范围；还有一种隐蔽情况是数据里混入了inf或非数值字符。解决：把学习率降到 1e-6 级别重跑；在读取 CSV 后加一行np.isinf(data).sum()检查无穷值。我遇到过数据文件里某列在 Excel 里手工填了#DIV/0!的情况，这类脏值读进来就是 NaN 源头。

5.3 sklearn 版本不匹配：load_boston 被移除

现象：解压后跑 import 时报AttributeError: module 'sklearn.datasets' has no attribute 'load_boston'。原因：sklearn 1.2 起移除了波士顿房价数据集，而大量教学 zip 还在用它做示例。解决：换成fetch_california_housing，加载方式和原来的接口几乎一样，列数、含义不同但处理流程完全不受影响；或者直接改用 zip 包里自带的 CSV。这种版本问题最有效的预防方式是建虚拟环境，用 requirements.txt 锁定 sklearn 大版本。不要在所有环境里共用一套 site-packages，否则今天这个包能用，明天那个又坏了。

5.4 预测值全部是同一个常数

现象：模型跑通了，R² 接近零，预测输出永远是一个固定数。原因：特征根本没进模型。常见于设计矩阵写错——pandas 取列时X[["feature"]]写成了X["feature"]，数据变成一维数组，回归时被广播成单一系数；另一种可能是偏置项被重复加了几次，梯度恒为零。解决：打印X.shape确认至少是二维；正规方程解法里打印theta，如果只有一个非零数且接近均值，回去检查特征矩阵的取法。

5.5 指标虚高：归一化在切分之前做造成数据泄漏

现象：训练集 R² 0.98，交叉验证却暴跌到 0.6，线上更差。原因：对整个数据集做了scaler.fit_transform再切分。缩放器拟合时已经看到了测试集的均值和方差，验证时等于提前把答案的部分信息喂给了模型。解决：严格遵守「先切分、后缩放」的顺序，缩放器只在训练集上 fit，然后只对测试集 transform。这是我在代码诊断里见过最多的一类问题，网上示例代码至少一半在这条顺序上埋雷，尤其是从 zip 里二次转发出去的代码，更容易保留这种写法。

提示：排查顺序也有讲究。遇到指标异常，先查数据泄漏，再查版本兼容，最后查算法实现。数据泄漏和版本问题占比远高于算法本身写错，别一开始就怀疑数学公式。

6. 把 zip 里的线性回归接到真实场景：特征筛选、模型落盘与重训节奏

跑通和验证不是终点，把这份代码接到自己的业务里才见真章。以量化交易为例，线性回归常作为收益率预测的基线模型，python量化交易策略代码里它也经常是因子组合的第一步。但落地前必须补三件事：特征筛选、模型落盘、重训机制。

import joblib from statsmodels.stats.outliers_influence import variance_inflation_factor # VIF > 10 说明该特征能被其他特征线性表示，留着会让系数不稳定 vif_df = pd.DataFrame({ "feature": X_train.columns, "VIF": [variance_inflation_factor(X_train.values, i) for i in range(X_train.shape[1])] }) model = LinearRegression() model.fit(X_train_scaled, y_train) # 保存模型和缩放器，预测时先 transform 再 predict，顺序不能反 joblib.dump(model, "linear_regression_model.joblib") joblib.dump(scaler, "scaler.joblib")

VIF 的计算只在训练集上进行，和标准化一样，测试集不参与任何拟合。重训节奏我一般按业务周期定：有明显周期的按周，没有明显周期就等模型 R² 连续两周下滑再重训，用数据驱动而不是靠「每天跑一次」安慰自己。模型落盘时把 scaler 和 model 放一起存，是一个容易忽略的细节——如果预测时只加载模型忘了缩放器，预测结果的量纲会完全对不上。

我个人的习惯是每次重训前先删掉旧模型文件，防止误加载到上一版结果。出现过一次线上预测对不上账，排查到最后是加载了三天前的旧文件，从那以后这个动作就成了固定流程。拿别人的 zip 代码做二次开发，最大的风险不是读不懂，而是不知道哪些地方被改过、依赖被谁动过；把它当作一份不信任的输入，先跑通再验证，最后重构成自己的流程，这一套下来，这份 zip 才算真正属于你。希望帮到你。

本文还有配套的精品资源，点击获取