GBDT 回归任务生成过程（逐步计算演示）

GBDT 是Gradient Boosting Decision Tree的缩写，中文名为梯度提升决策树，是一种经典的集成学习算法，核心逻辑是串行生成多棵 CART 回归树，每一棵新树都用来拟合前一轮模型的预测残差，最终将所有树的预测结果累加，得到最终模型。

关键前提：GBDT 中所有的基学习器都是CART 回归树，无论任务是分类还是回归。分类任务会通过损失函数的负梯度将标签转换为连续的 “伪残差”，再用回归树拟合。

一、GBDT 核心思想

Boosting 算法的本质是 “知错就改”：

1. 先训练一棵基础树，用它做预测会产生误差（真实值 - 预测值 = 残差）；
2. 再训练一棵新树，专门拟合这个残差，让新树的预测值尽可能抵消前一轮的误差；
3. 重复上述过程，生成多棵树；
4. 最终预测结果 = 所有树的预测结果之和。

类比：你估算一个苹果的重量，第一次猜 200g，实际是 250g → 残差 50g；第二次专门猜这个残差 50g；最终结果 = 200g + 50g = 250g。

用5 个房屋价格预测的样本来完整演示第 m 棵树的「计算残差→训练回归树→更新模型」全过程，所有步骤都附带具体数值计算。

GBDT 回归任务生成过程（逐步计算演示）

前置准备

1. 回归数据集（特征：房屋面积 x，单位：㎡；标签：房价 y，单位：万元）

   样本编号	1	2	3	4	5
   面积 x	50	60	70	80	90
   房价 y	15	18	22	25	30

2. 超参数：树的数量 M=2（演示 2 轮迭代），学习率 η=0.1
3. 初始模型：回归任务的初始模型 f0​(x) 是所有样本标签的均值

第 1 轮迭代：生成第 1 棵树 h1​(x)

步骤 1：计算第 1 轮残差 r1i​

残差的定义是真实值 - 前一轮模型预测值，

逐个样本计算残差：

得到第 1 轮残差集合：r1​=[−7,−4,0,3,8]

步骤 2：训练第 1 棵 CART 回归树 h1​(x)

核心目标：用「面积 x」作为特征，「残差 r1i​」作为新标签，训练一棵 CART 回归树，划分准则是平方误差最小化。

子步骤 2.1：生成候选阈值

子步骤 2.2：逐个阈值计算平方误差，选最优划分

我们逐个计算候选阈值的平方误差：

最优划分选择：阈值 = 75 时总平方误差最小（37.17），因此第 1 棵树的划分规则为：

• 若 x≤75 → 叶子节点 1，预测值 =rˉ1​=−3.67
• 若 x>75 → 叶子节点 2，预测值 =rˉ2​=5.5

得到第 1 棵树对 5 个样本的预测值 h1​(xi​)：

步骤 3：更新模型，得到 f1​(x)

逐个样本计算更新后的预测值：

此时模型的预测值已经比初始模型更接近真实房价。

第 2 轮迭代：生成第 2 棵树 h2​(x)

步骤 1：计算第 2 轮残差 r2i​

逐个样本计算残差：

残差集合：r2​=[−6.63,−3.63,0.37,2.45,7.45]

步骤 2：训练第 2 棵 CART 回归树 h2​(x)

同样以「面积 x」为特征、「残差 r2i​」为新标签，重复平方误差最小化的划分过程，最终得到第 2 棵树的划分规则和预测值 h2​(xi​)（计算过程同第 1 棵树，此处省略阈值筛选步骤）。

假设第 2 棵树的最优划分阈值还是 75，得到预测值：

步骤 3：更新模型，得到最终模型 f2​(x)

计算最终预测值：

核心结论

1. 残差的作用：每一轮的残差都是「模型当前预测的误差」，训练新树的目标就是尽可能拟合这个误差。
2. 模型更新逻辑：每一轮都用学习率控制新树的贡献，逐步修正预测值，让模型越来越准。
3. 迭代终止条件：当树的数量达到预设值 M，或残差的均值小于阈值时，停止迭代。