线性回归与梯度下降全推导：从贷款额度预测到逻辑回归

简介：这份线性回归算法小组报告PPT，是面向机器学习初学者及小组汇报场景的演示文稿。内容围绕线性回归与逻辑回归两大核心算法展开，从工资、年龄与贷款额度的生活案例切入，逐步推导线性回归的似然函数、最小二乘法目标函数，并讲解批量梯度下降、随机梯度下降、小批量梯度下降等优化手段；后段还介绍了逻辑回归的Sigmoid函数、决策边界与多分类softmax，适合作为课堂展示、小组学习或考前复习的提纲式素材。整份资源为1个pptx文件，压缩包约860KB，页面紧凑、结构清晰，可直接用于二次编辑汇报。目前已有319人浏览学习。通过这份PPT，读者能快速掌握线性回归的数学原理与参数求解思路，理清两种回归算法的适用场景与联系，提升基础模型的理解和讲解能力。

1. 线性回归算法小组报告：这份PPT把贷款额度预测的推导链讲全了

查“线性回归算法”相关的课程报告和小组PPT时，多数资源要么只给公式不给场景，要么直接甩sklearn代码，数学推导一笔带过。这份PPT不一样，它用“工资+年龄预测银行贷款额度”的具体数据开场，一路走到误差服从高斯分布、似然函数最大化、梯度下降求解，最后落到逻辑回归和softmax，等于把一条完整的机器学习推导链放在你面前。适合正在准备课程汇报的同学，也适合想把回归和分类底子补扎实的从业者。下面按我的拆解习惯，把这份PPT的推导逻辑、参数取舍和容易翻车的地方逐段讲清楚。

2. 从误差到似然函数：为什么最小二乘是线性回归的必然选择

2.1 特征、参数与拟合平面的数学设定

PPT给的例子很朴素：两个特征X1（工资）、X2（年龄），一个标签Y（银行贷款额度），样本一共5条，整理下来是这张表：

这个数据量放在真实项目里小得可怜，但作为推导示例足够了。模型要回答的问题是：工资和年龄各自对贷款额度有多大影响。这里“影响”就是PPT里反复强调的参数θ1、θ2，对应数学表达：

Y = θ1·X1 + θ2·X2 + θ0

其中θ0是偏置项，解释起来很直接：一个没有工资也没有年龄的人，银行也会给一个基础额度，这个基础额度就是θ0在模型中的体现。在实际建模时，特征往往不是两个而是几十上百个，但公式结构不变，只是把X1、X2扩展成X1到Xn，参数也随之扩展成θ1到θn。

两个特征时，拟合出来的不是一条直线，而是一个二维平面。PPT里说的“找到最合适的一条线，想象一个高维”指的就是这个意思：一个特征是一维直线，两个特征是一个平面，三个特征以上就是超平面，可视化做不了，但数学形式完全一致。常见的做法是用矩阵把积写紧凑：Y = Xθ，其中X是样本矩阵，每一行是一个样本的两个特征加一个1（对应偏置项）。

这里有一个新手容易卡住的点：为什么要把偏置项单独拆出来？因为偏置项可以看成θ0乘以一个恒为1的特征。把1拼到特征矩阵里之后，偏置项就和其他参数一样参与推导，梯度下降更新参数时不需要单独写分支。我在实际写代码时也习惯把偏置项拼进特征矩阵，而不是单独存一个b变量，这样后续矩阵运算会清爽很多。

2.2 误差服从高斯分布的三个前提

真实数据和拟合平面之间肯定有偏差，PPT把这部分叫误差，用ε表示。对每个样本来说：

Yi = θ0 + θ1X1i + θ2X2i + εi

接下来的推导是整个线性回归的核心前提：PPP对误差εi做了三个假设。第一是独立，即张三和李四一起来贷款，两个人的误差互不影响；第二是同分布，即他们来的都是这家银行，误差的分布特性一致；第三是服从均值为0、方差为σ²的高斯分布，也就是说银行给钱可能多给也可能少给，但绝大多数情况下浮动不会太大，只有极少数情况浮动明显。

这三个假设不是随便拍脑袋的，它们决定了似然函数的具体形式。如果误差不服从高斯分布，后面的所有推导都要换一套逻辑。高斯分布的概率密度函数是：

P(εi) = (1 / (√(2π)·σ)) · e^(-εi² / (2σ²))

因为εi = Yi - hθ(Xi)，所以给定参数θ时，样本Yi出现的概率就是：

P(Yi | Xi; θ) = (1 / (√(2π)·σ)) · e^(-(Yi - hθ(Xi))² / (2σ²))

这个式子看着复杂，实际上就是一句话：误差越小，概率越大。我们想找的那组参数θ，就是让所有样本出现概率都尽量大的那组参数。这就是极大似然估计的基本思想，也是从“误差假设”走到“最小二乘”之间的关键桥梁。

我在之前的实际项目中验证过一个细节：数据里的离群点会把假设置于危险境地。如果误差分布有厚尾，高斯假设很容易被离群点带偏，所以日常工作中拿到数据先看一眼残差分布，已经成了我的习惯。这份PPT虽然没提诊断步骤，但推导前提摆在这儿，后续所有操作都是在为这个前提服务。

2.3 似然函数到对数似然：乘法转加法的关键一步

把所有样本的概率乘起来，就得到似然函数：

L(θ) = ∏ P(Yi | Xi; θ)（i从1到n）

PPT里的解释很形象：什么样的参数跟数据组合之后，恰好能还原真实值，那组参数就是我们要找的。但现在连乘形式不好求导，处理起来麻烦。PPT给出的处理方案是对数变换，把连乘变成连加：

ln L(θ) = Σ ln(1 / (√(2π)·σ)) - (1 / (2σ²)) · Σ(Yi - hθ(Xi))²

观察这个式子，第一项与参数θ无关，是个常数，真正影响对数似然大小的是第二项。前面有个负号，所以让对数似然最大化，等价于让残差平方和Σ(Yi - hθ(Xi))²最小化。这就是PPT里写的“让似然函数越大越好”落到实操上的结果——最小二乘目标。

这一步是整个推导中最容易让新手绕晕的地方。我经常在讲解时做一次代换：先把高斯分布写成指数形式，取对数之后指数部分自然下落，二次项出现在前面。不要跳步，每一步都在纸上写清楚，再对照PPT的“误差展开化简”部分，就能摸清脉络。

这里还需要明确σ的作用。原则上σ是个未知量，但在求解θ的过程中它只作为缩放系数存在，不改变最优解的方向。PPT没提这一层，但在面试或答辩时被问到“为什么σ不影响参数求解”，知道这一点会显得理解更完整。常见做法是在推导开始时就约定σ是常数，这样既能简化表达，也不影响后续梯度下降的目标函数形式。

2.4 最小二乘目标函数与偏导求解

最小二乘的目标函数写作：

J(θ) = Σ(Yi - hθ(Xi))²

PPT里提到求偏导、令偏导等于0。展开来看，对参数θj求偏导：

∂J / ∂θj = -2·Σ(Yi - hθ(Xi))·Xji

令偏导等于0，得到的是一组线性方程，样本量不大时可以直接解出闭式解，也就是正规方程。这个思路在特征维度不高、样本量不大时非常高效，但在特征多、样本量大的场景下，矩阵求逆的计算开销会直线上升，所以梯度下降成了更通用的选择。

评估模型时，PPT提到“最常用的评估项，取值越接近1拟合越好”，这说的是决定系数R²：

R² = 1 - 残差平方和 / 总平方和

R²衡量的是模型解释掉了多少方差。为1说明完全拟合，为0说明模型不比直接用均值预测好多少，为负则说明模型甚至比直接取均值还差——这种情况实践中确实会出现，常见原因之一是没有对数据进行必要的预处理，或者模型形式不适合当前数据。后面避坑章节会专门展开讲。

理解了这一章，线性回归的“数学心脏”就基本打通了。从高斯误差假设出发，推导出似然函数，再对数化转成最小二乘，最后求偏导，这条链每一步都有迹可循。

3. 梯度下降三种形态：批量、随机与小批量的取舍与调参

3.1 为什么要梯度下降：直接求解的局限

上一章末尾提到正规方程可以直接求解，那为什么还要梯度下降？PPT里点了一句“直接求解并不一定可解，线性回归可以当作特例”。我展开说一下：

正规方程的核心是计算(XᵀX)⁻¹，这里有两个实际问题。第一，当特征数量超过几千甚至上万时，矩阵求逆的时间复杂度接近O(n³)，训练一次要等很久；第二，如果特征之间存在高度相关性，XᵀX可能接近奇异矩阵，求逆结果数值上不稳定，得到的参数可能大得离谱。

还有一个更实际的场景：当模型形式不是线性回归这种能写出闭式解的类型时，比如后面要说的逻辑回归，或者任何带非线性的模型，想直接“解方程”往往没有解析解。梯度下降不要求目标函数有闭式解，只要目标函数能对参数求偏导就能迭代优化。所以我把梯度下降看成机器学习优化的通用工具，线性回归只是它最简单的应用场景之一。

PPT里的比喻很接地气：下山找山谷最低点，参数就是你的位置，梯度就是当前最陡的下坡方向。每次往梯度反方向挪一小步，步长由学习率控制，迭代多次后就能逼近极值点。

3.2 参数更新公式与下山三步

下山分三步：第一步找到当前最合适的方向，即计算梯度；第二步确定走多大一步，即确定学习率；第三步按方向与步长更新参数，对应参数更新公式：

θj := θj - α · (∂J / ∂θj)

α是学习率，决定每次更新一步迈多大。在误差平方和作为目标函数的情况下，代入J(θ)的表达式，梯度项最终会落到残差乘以特征值的形式。这里需要提醒的是，不同教材和代码库对这个目标函数差一个1/2系数，本质是为了求导后消掉系数2，对最优解没有影响，但如果你把几个来源的代码混在一起看，容易对不上号，遇到这种差异不用慌，先确认各自的目标函数长什么样。

在坐标纸上手工迭代一次，是最直观的理解方式。选一个初始点，比如θ1 = 0、θ2 = 0，代进梯度项算出更新量，然后更新参数，重复几次，你会看到参数从0慢慢逼近训练数据对应的最优值。我一般会建议初次接触的人用单特征数据做一次完整手算迭代，印象比直接调包深刻得多。

3.3 三种梯度下降形态的对比与选择

PPT列出了三种梯度下降方式：

批量梯度下降。每次更新考虑全部样本的梯度，数学上收敛稳定，最容易得到最优解，但每迭代一轮都要遍历整个数据集。样本量上了百万之后，一轮更新就要等好几秒甚至更久，实践中几乎不可用。

随机梯度下降。每次只取一个样本来算梯度，迭代速度快，但单个样本的梯度方向噪声大，不一定每次都朝着收敛方向走，目标函数曲线会呈现明显波动。好处是这种波动有时反而能帮模型跳出局部极小值，在非凸问题上有些优势。

小批量梯度下降。每次取32、64或128个样本，折中方案，计算效率高、收敛稳定，是工业界最常用的版本。PPT里的评价是“实用”，我完全认同，实际训练中几乎默认选这个。

三种方式的对比可以放进一张表：

这里有一个容易被忽略的细节：批次大小不仅影响速度，还影响模型收敛到的结果。大批量梯度更平滑，可能收敛到尖锐的最优点；小批量带噪声，反而可能泛化更好。调参时如果发现验证集表现波动，考虑把batch size调大一档或调小一档，有时会有意外收获。

3.4 学习率与批处理数量：两个必须手工调的核心参数

学习率是最敏感的参数。PPT强调“对结果会产生巨大影响，一般小一些”。我给出的实操建议是：优先试试0.1、0.01、0.001三个量级，观察损失下降曲线。

学习率太大，参数会在最优点附近来回震荡，损失曲线像心电图一样不安分；学习率太小，训练半天损失还在高位缓慢爬行。一个常见做法是配合学习率衰减：前几百轮用稍大一点的学习率快速下降，之后逐渐缩小步长精细调整。

批处理数量，PPT给了“32、64、128都可以”这个参考区间。这背后有三个逻辑：一是这些数是2的幂，和GPU内存对齐友好；二是批次太小会导致梯度噪声大，太大则每轮计算时间长；三是内存限制，尤其在显存有限的训练环境下，128不一定塞得下，这时只能往小里调。

我当时跑一个模拟项目X时，输入数据只有两张表，用批量梯度下降16秒一轮，换成小批量64后降到1.8秒一轮，收敛曲线稳定性没有明显损失。这个经验可以复制：先从小批量64起步，发现振荡就回调到128或256，发现太慢就降到32。

# 小批量梯度下降核心步骤 import numpy as np X = ... # 特征矩阵，已拼接偏置列 y = ... # 标签向量 theta = np.zeros(X.shape[1]) # 参数初始化 lr = 0.01 # 学习率 batch_size = 64 epochs = 100 for epoch in range(epochs): for start in range(0, X.shape[0], batch_size): end = start + batch_size X_batch = X[start:end] y_batch = y[start:end] gradient = X_batch.T.dot(X_batch.dot(theta) - y_batch) * 2 / batch_size theta -= lr * gradient

这段代码展示的是小批量梯度下降的完整逻辑。核心是循环内先取出一个批次的数据，计算当前参数下预测值与真实值的残差，用特征矩阵的转置与残差做矩阵乘法得到梯度，最后按学习率更新参数。注释里标记了偏置列拼接，说明X的第一列是常量1，这样θ0才能和其他参数一起更新。

参数含义方面，lr控制每步更新幅度，batch_size控制每次迭代计算梯度的样本数，epochs控制整个数据集被遍历几轮。梯度前面乘2再除以batch_size，是为了和平方误差导数对齐。实际使用时，如果损失曲线不降反升，第一反应就是调小学习率，而不是延长训练轮数。

4. 逻辑回归与Sigmoid：回归模型怎么变成二分类器

4.1 决策边界与Sigmoid函数

线性回归解决的是连续值预测，但很多业务问题要的是“是/否”这类分类答案，比如银行决定贷不贷款。PPT在这里切入了逻辑回归，并明确点出一个容易被新手忽略的事实：逻辑回归名字里有“回归”，本质却是经典的二分类算法。

核心转换工具是Sigmoid函数：

σ(z) = 1 / (1 + e^(-z))

这个函数把任意实数输入压缩到(0,1)区间，z为0时输出0.5，z很大时趋近1，z很小时趋近0。在线性回归中计算出预测值z之后，把它送进Sigmoid函数，就得到了一个概率值。比如计算结果是0.8，可以解读为“模型认为贷款概率是80%”，然后按0.5阈值判断为贷或不贷。

决策边界这个概念需要展开。Sigmoid输出等于0.5时，对应z等于0，而z又等于θ0+θ1X1+θ2X2，所以决策边界实际上是特征空间里的一条线（或一个超平面）。线性逻辑回归的决策边界是线性的，但PPT提到它“可以是非线性的”，这个说法对应的做法是特征工程——在特征里加入X1²、X1·X2这类组合项后，边界就变成了曲线或曲面。

4.2 预测函数与似然函数的整合形式

分类任务中，y取0或1。假设正例概率p = σ(z)，则负例概率是1 - p。PPT给了一个很巧妙的整合写法，把两个概率合并成一个统一的表达式：

P(y|x;θ) = p^y · (1-p)^(1-y)

y为1时，第二项指数为0，只剩下p；y为0时，第一项指数为0，只剩下1-p。这样写的好处是，对全体样本的似然函数求对数时不需要分情况讨论，直接取ln后展开就能统一求导。

要注意的是，这里的z还是输入的线性组合θ0+θ1X1+θ2X2，不是逻辑回归重新发明的预测函数。区别只在于外层套了一个非线性变换，并解释成概率。这也是为什么逻辑回归的参数数量和数据特征数量保持一致，训练逻辑和线性回归在结构上有相似性。

这套整合形式在答辩和面试时属于必考题。我见过不少人在黑板上写到p^y·(1-p)^(1-y)就卡住，然后开始翻PPT找下一步。建议拿笔推两遍，把“y=1时只剩正例项，y=0时只剩负例项”这句话写在公式旁边，短时间内不容易忘。

4.3 梯度上升到梯度下降：负号转换与参数更新

单看对数似然函数，逻辑回归的梯度推导比线性回归多一步符号判断。对数似然写成：

ln L(θ) = Σ[y·ln(p) + (1-y)·ln(1-p)]

目标是让对数似然尽量大，也就是要梯度上升；但熟悉的优化框架是梯度下降，所以PPT里的做法是取负，把最大化问题转成最小化问题。这也解释了为什么很多开源代码里损失函数前面总有一个负号，本质不是数学变了，而是优化方向反了。

求导结果是参数更新规则：

θj := θj + α·Σ(y - p)·Xj （梯度上升形式）

常见写法是把它改写成梯度下降形式：

θj := θj - α·Σ(p - y)·Xj

注意这里和线性回归有一个微妙差异：线性回归梯度项中的残差是预测值减真实值（hθ(x) - y），逻辑回归梯度项中是概率减真实值（p - y）。符号方向不同，但更新方向本质一致。实际代码中只需确认损失函数定义和梯度表达式是配对关系，正负号别弄混就行。

# 逻辑回归梯度下降更新示例 p = sigmoid(X.dot(theta)) gradient = X.T.dot(p - y) # 残差 = 概率 - 真实标签 theta -= lr * gradient

这段代码的逻辑很直接：先计算每个样本的预测概率p，再计算(概率 - 真实标签)作为残差方向，用特征矩阵转置乘残差得到梯度，最后沿负梯度方向更新参数。逻辑回归没有正规方程的闭式解，必须靠迭代优化，这也再次印证了第三章强调的梯度下降通用价值。

4.4 softmax多分类扩展

二分类用Sigmoid，多分类怎么办？PPT给的答案是softmax。softmax公式对每个类别输出一个概率，公式形式是把每个类别的线性得分指数化，再除以所有类别得分的指数和。这样保证所有类别概率之和为1。

实际使用中，softmax和Sigmoid的数学联系值得提一句：当类别数为2时，softmax退化为Sigmoid，二者在二分类场景下等价。所以逻辑回归直接扩展到多分类，最简单的方式就是把输出层从1个节点换成K个节点，套上softmax激活函数。

做多分类时还有一个常见选择：直接用多个二分类器（一人一个逻辑回归），还是直接用softmax。区别在于多个二分类器问题需要额外的投票策略，而且每个分类器只学正负两类的判别边界；softmax则是一套参数同时学习所有类别之间的关系。实践中样本类别均衡时，softmax效果通常更稳；类别不平衡时，反而可以先用二分类方案逐个排查效果。

5. 常见问题排查：从数据标准化到参数不收敛的5条踩坑记录

5.1 损失不降反升或震荡不止

现象：训练时损失曲线在初始值附近来回抖动，甚至一轮比一轮高，半程过后也没稳定下来的迹象。

原因：最常见的是学习率设得太大，参数更新跨过了最优区域，在两侧反复横跳；第二种常见原因是特征数值量级存在巨大差异，导致梯度在不同维度上尺度不一致，更新方向被大数值特征主导。

解决：先确定学习率量级，从0.001开始，如果损失能平稳下降就维持，不行再往小调。随后对特征做标准化处理，让每个特征均值归零、方差归一。我一般用标准分数变换，代码里一行就能完成。做了这两步之后，至少八成以上的“损失震荡”问题可以收敛。

5.2 训练速度奇慢，半天跑不完一轮

现象：小数据集上训练还好，换了一批数据后每轮耗时增长几十倍，一个epoch要等几分钟。

原因：批量梯度下降在样本量增长后，每轮都要遍历全部样本计算梯度。如果坚持用全批次更新，时间开销是线性甚至超线性增长的。

解决：换成小批量梯度下降。批次大小从64起步，观察单轮耗时和收敛质量。还有一个并行化的思路，是将特征矩阵按批次拆分后用多进程并行计算梯度再汇总，但这一步要做梯度累加的边界处理，纯粹为了演示就不用折腾了。

5.3 逻辑回归正负例概率几乎都贴在0.5附近

现象：预测结果分布在0.48到0.52之间，Sigmoid输出没有拉开差距，分类效果和随机猜测差不多。

原因：特征与标签之间缺乏足够的线性可分关系，Z值分布集中，Sigmoid函数在0附近的斜率最大，导致输出概率普遍往0.5挤压。另一个常见原因是正负样本比例严重失衡，模型学到的是多数类先验。

解决：先看特征分布，确认存在区别后再做特征工程，构造交叉项或多项式特征；然后处理样本不平衡，常用手段是调整正负样本权重，或者对多数类做下采样。如果处理后概率依然没有拉开，那么说明这个问题的线性假设确实不成立，应该换非线性模型。

5.4 R²为负数或模型拟合效果不如均值

现象：R²计算出来是负数，模型预测比直接用训练集均值作为预测还要差。

原因：线性模型形式与数据关系不匹配，X与Y之间可能是曲线关系，或者存在明显的异方差性，而线性回归默认捕捉的是直线关系。

解决：画出真实值对预测值的散点图，如果看到明显的曲线弯曲，就在特征里加入平方项或交互项。如果残差出现喇叭形，说明方差稳定假设不成立，可以考虑对标签做对数变换。这个排查动作一定要在模型评估阶段做，不要只看R²就下结论。

5.5 特征矩阵求逆报错

现象：用正规方程求解时，行列式为0或矩阵奇异，代码直接抛异常，即使没抛异常，算出的参数也大得不合理。

原因：特征之间存在多重共线性，两个特征高度线性相关，XᵀX不可逆；或者特征数量大于样本数量，矩阵本身就不满秩。

解决：优先用梯度下降替代正规方程，这条路避开了求逆步骤；如果要继续用正规方程，可以给XᵀX加一个小的正则化项λI（岭回归的雏形），让矩阵变得可逆。另外顺手检查一下特征相关性，删除重复或近似重复的特征列，能从根本上缓解这个问题。

这5条基本都是复现和训练中的真实高频故障。我在模拟项目X上跑线性回归时，第一条和第四条前后脚遇到，处理后整个训练流程顺畅了不少。排查的顺序建议是：先解决数据标准化和共线性，再看学习率和批次大小，最后才是特征形态问题。顺序反了容易浪费时间调一个没有意义的学习率。

6. 验证一页纸推导：用正规方程对照梯度下降结果

学推导最大的困惑是不知道算得对不对。我常用的验证方法很简单：一个线性回归模型，分别用正规方程和梯度下降求解，对比最终参数是否一致。这个方法成本极低，却能在十分钟内验证明白整条推导链。

取PPT里的5条样本数据，把偏置项拼进特征矩阵，构造X和y：

import numpy as np X = np.array([ [1, 4000, 25], [1, 8000, 30], [1, 5000, 28], [1, 7500, 33], [1, 12000, 40] ], dtype=float) y = np.array([20000, 70000, 35000, 50000, 85000], dtype=float) theta_norm = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y) print("正规方程参数:", theta_norm)

代码逻辑是先用矩阵转置乘自身得到XᵀX，求逆后乘Xᵀy，得到闭式解。运行结果会得到一个包含偏置项和两个特征系数的一维数组。拿到这个结果后，再用第三章的小批量梯度下降跑一遍，把学习率调到0.01以下、迭代次数加大，观察参数是否逼近同一组值。

两次求解如果参数一致，说明推导和代码实现都没有方向性错误；如果不一致，优先检查特征矩阵是否拼了偏置列、梯度里的残差方向是否写反。这两处是最高频的错误源。

这份PPT里还有一处值得单独提炼的技巧：把“误差服从高斯分布”到“最小二乘目标函数”的推导压缩成一页纸，只写四个环节——误差分布、似然函数、对数化、求偏导。每写一个环节就停下来问一个问题：这个推导用到了哪个假设？每一步解决什么计算困难？能答上来，说明真的理解了，而不是跟着PPT符号走。从那以后我每次做相关内容的分享，都会强制先跑一遍正规方程对照梯度下降，确认参数一致后再继续讲，这个习惯帮我避开了无数次演示事故。希望帮到你。

本文还有配套的精品资源，点击获取