决策树为何过拟合？随机森林与GBDT的原理、调参与选型

每次讲到《决策树与集成算法》这一章，我都会先抛一个问题给听课的同学：如果一个模型在训练集上准确率做到 99%，一到测试集就掉到 70%，你的第一反应是什么？大部分人会说"加数据""换模型""调参"，很少有人意识到，问题很可能出在你对单棵决策树的过度信任上。

决策树是我认为最适合拿来入门机器学习的模型：不需要做特征缩放、能同时处理数值和类别特征、训练完之后还能画成图直接给别人解释，优点非常直观。但它有个致命短板——单棵树对训练数据的扰动极其敏感，换几个样本、改一个参数，整棵树的结构就可能完全变样。这也是为什么工业界几乎没有裸用一棵树的方案，大家要么把它塞进随机森林，要么拿它去叠 Boosting。这一章我把决策树的生长机制、单棵树的瓶颈，以及 Bagging 和 Boosting 两条集成路线完整串一遍，重点回答两个问题：树为什么能打？树多了为什么更稳？

这篇文章适合两类人：正在系统学机器学习、对公式又爱又怕的初学者，以及已经会用 sklearn 但始终没搞明白随机森林和梯度提升树到底该选谁的工程师。我会尽量少堆数学推导，多讲原理背后的直觉，顺便把我实际调参时踩过的坑一并交代清楚。

1. 决策树的生长逻辑：特征划分与纯度度量

1.1 一棵树本质是一串 if-else

很多人把决策树想得很玄学，其实它的核心就是一个递归的划分过程。从根节点开始，每一步选择一个特征和一个切分阈值，把当前数据集分成两个或若干个子集，然后在每个子集上重复同样的操作，直到满足停止条件。你可以把它理解为"连续提问"：第一个问题问"年龄是否大于 30"，第二个问题问"收入是否超过 2 万"，一路问下去，最终走到叶子节点，给出一个预测类别。

关键在于每一次提问的质量。理想的划分是：分裂之后，每个子节点里的样本尽可能属于同一个类别。这个性质在机器学习里叫做"纯度"。纯度越高，说明这个划分越能有效地区分不同类别的样本。而如何在每一步选出"最能让纯度提升最大的特征"，就是整个决策树算法的核心差异所在。

1.2 三种纯度度量：信息增益、增益率与基尼指数

决策树的几个经典算法，区别基本就在纯度度量方式上。

先说信息熵。一个数据集 D 的熵定义为 Ent(D) = -Σ p_k·log2(p_k)，其中 p_k 是第 k 类样本的占比。熵越小，数据集越纯；熵为 0 时所有样本都属于同一类。ID3 算法用的就是信息增益，公式是 Gain(D, a) = Ent(D) - Σ |Dv|/|D|·Ent(Dv)，也就是父节点熵减去划分后各子节点熵的加权和。信息增益越大，说明这个特征带来的"纯度提升"越大。

但信息增益有一个隐蔽的毛病：它天然偏好取值多的特征。试想一个"样本编号"特征，每个样本取值都不相同，按它划分后每个子节点只剩一个样本，纯度直接拉满，信息增益高到爆表。可这种划分完全没有泛化能力。C4.5 算法于是改用增益率，用特征自身的"固有值"把信息增益归一化，缓解对多取值特征的偏向。CART 则干脆走另一条路，用基尼指数替代熵，计算的是从数据集中随机抽取两个样本、其类别不一致的概率。基尼指数越小，纯度越高。

这三种度量在多数场景下结论接近，但细节上有差异。我做了一张表方便对比：

1.3 连续特征到底怎么切

连续特征的划分和离散特征不一样，没法直接枚举取值。常见的做法是先把特征取值排序，然后取相邻两个值的均值作为候选阈值，逐一计算划分后的纯度，选出最优的那个。比如"收入"字段有 1000 个不同值，就会产生 999 个候选切分点，这个过程的计算量不小，所以很多工程实现会做预排序或者用直方图近似。

这里有个初学者容易忽略的点：同样的连续特征，在树的不同分支上可能会被重复使用，而且每次的切分阈值都不一样。根节点可能按"年龄 > 31"划分，左边的子节点又可能按"年龄 > 25"再切一次。这不是 bug，而是决策树在数据驱动下自然形成的分段拟合。理解了这一点，你就能明白为什么树模型能自动捕捉非线性关系，而线性模型做不到。

2. 单棵树的瓶颈：过拟合、剪枝与不稳定

2.1 为什么树越深，越容易"记题"而不是"做题"

如果不加任何限制，决策树会一直分裂下去，直到每个叶子节点里只剩同一类样本甚至只剩一个样本。此时训练集准确率当然接近 100%，但那不是因为模型学到了规律，而是因为它把每个样本的个体特征都记下来了。这就像学生考前把题目答案背下来，题目稍微换个数字就懵了。

树的深度是过拟合最直接的开关。深度越大，模型复杂度越高，对训练数据的拟合越彻底，同时方差也越大。方差大的意思是：训练集稍微变化一点，模型结果就剧烈波动。这解释了开头的场景——训练集 99%，测试集 70%，因为模型在训练集上记忆的成分远大于学习的成分。

2.2 预剪枝与后剪枝：两种思路的取舍

为了抑制过拟合，决策树引入了剪枝，分预剪枝和后剪枝两种。

预剪枝的思路是边建树边判断，在分裂前评估这次划分是否值得。如果划分后验证集精度没有提升，就停止分裂，把当前节点直接变成叶子。优点是大规模减少了训练时间，因为很多分支根本不会生成；缺点是"目光短浅"，有时候一次分裂本身收益不大，但它的子节点分裂能带来显著收益，预剪枝会因为只看当前一步而错过后面更好的结构。

后剪枝的思路是先把树建完整，然后自底向上尝试剪掉一些子树，比较剪掉前后的验证集精度，决定是否保留。它比预剪枝更谨慎，效果通常也更好，但训练开销大。sklearn 里对应的参数是 ccp_alpha，做成本复杂度剪枝。实际操作中我一般先用预剪枝参数（max_depth、min_samples_split、min_samples_leaf）把树限制在一个合理范围，再用交叉验证调 ccp_alpha 做精细化修剪，两者不冲突。

2.3 更隐蔽的问题：不稳定性和取值偏好

过拟合虽然麻烦，至少你能通过剪枝解决。单棵树更让人头疼的是不稳定。

数据里一个小噪声，或者换一组训练样本，根节点选中的特征可能就变了，整棵树随之重构。树结构一变，你对这个模型的解释也就全变了。另一个隐蔽的偏置在特征层面：取值多的特征在划分中更容易被选中，即使它并不真的重要。这两个问题叠加在一起，导致单棵树的方差居高不下，而且很难通过调参从根本上解决。

既然单棵树这么不稳定，那反过来想：如果我训练很多棵树，让它们各自"冒点险"，最后把结果投票或平均一下，是不是方差就能被摊平？这就是集成学习的出发点。顺着这条路，衍生出了两个风格完全不同的流派：Bagging 和 Boosting。

3. 集成学习的理论底气：偏差方差分解

3.1 误差拆成三块：偏差、方差、噪声

要理解集成为什么有效，得先把模型的期望误差拆开。对回归问题，模型在样本上的期望泛化误差可以分解成三部分：偏差的平方、方差、以及噪声。

用打靶来比喻最直观。偏差是你瞄准的水平——如果枪枪都打在靶心的同一侧偏离位置，说明你瞄偏了，这是系统性错误；方差是你手抖的程度——子弹落点东一个西一个，说明你发挥不稳定；噪声则是靶子本身被风吹得晃动，属于数据里天然不可控的部分。

对应到模型上：一棵很浅的决策树偏差高、方差低，因为它学得粗糙，但结果很稳定；一棵深度很大的树偏差低、方差高，因为它能把训练集拟合得很准，但换数据就翻脸。单棵决策树的麻烦在于，当你试图降低偏差（加深树）时，方差会一起暴涨，很难找到让人满意的平衡点。

3.2 平均为什么能降方差

假设有 T 个方差均为 σ² 且相互独立的模型，把它们的结果平均之后，整体方差会变成 σ²/T。这个数学事实说明：平均操作能把模型的随机波动压下去，而且是模型之间越独立，压得越狠。

但现实中没有完全独立的模型，因为大家是在同一份数据上训练的，天然有相关性。相关性越高，平均降方差的效果越差。如果 T 个模型完全一样，平均一万次也没用。所以集成学习的核心问题变成了：如何在保持个体模型不太差的前提下，让它们之间的相关性尽量低。

这也是"弱学习器"概念为什么这么重要。Bagging 要求每个基模型"略好于随机猜测"就行，不强求达到多高的准确率，因为它的收益来自多样性带来的方差削减。一个全是高手的团队如果想法完全一致，反而不如一个各有专长、允许分歧的团队稳定。

3.3 好集成需要的两个条件

总结一下，任何有效的集成方法都得满足两个条件：个体准确性和个体多样性。没有准确性，投票投出个大概率错误的结果；没有多样性，投票等于一个人投票，扛不住数据扰动。Bagging 和 Boosting 正是用两种完全不同的策略去平衡这两者。

Bagging 的思路是"并行地制造差异"：通过随机采样让每棵树看到不同的训练数据，大家互不干扰地训练，最后平均。Boosting 的思路是"串行地弥补短板"：每棵新树都重点关注前面所有树犯过的错误，不断搭台阶往上走。理解了这两个方向的本质差异，后面的内容就顺理成章了。

4. Bagging与随机森林：两次随机带来的稳定

4.1 自助采样与袋外估计

Bagging 全称是 Bootstrap Aggregating，核心操作就是自助采样。具体做法：假设训练集有 N 个样本，每次有放回地随机抽 N 个样本构成一棵树的训练集。这样有些样本会被重复抽到，有些一次都抽不到。算下来，每个样本大约有 63.2% 的概率被抽中，剩下约 36.8% 的样本对某棵树而言是"袋外"的，也就是没参加过训练。

袋外样本有奇用。因为每棵树没在袋外样本上训练过，所以直接拿袋外样本喂给对应树做预测，再对全森林的结果做平均，就能得到一个几乎无偏的泛化误差估计，这就是 OOB 误差（Out-of-Bag Error）。它和 K 折交叉验证的结果高度接近，但省去了重复训练的开销。我实测在多个数据集上，随机森林的 OOB 分数和 5 折交叉验证结果相差不到 0.5%，所以当样本量大、训练耗时长的时候，直接用 OOB 做模型选择是非常划算的做法。

4.2 第二次随机：特征子空间

Bagging 只是对样本做随机，但如果大家最强的那几个特征都一样，生成的树还是会高度相似。随机森林补了第二次随机：在每次节点分裂时，不是从全部特征里选最优划分，而是先从全部特征里随机抽一个子集，只在子集里找最优特征。分类任务默认抽 sqrt(m) 个特征，回归任务默认抽约 m/3 个。

这一招的杀伤力在于，它强制让树之间产生结构性差异。有些特征在全局维度上永远竞争不过最强特征，但放入随机子集后就有机会成为某棵树的根节点，从而挖掘出之前被忽略的模式。树的多样性上来了，森林的方差进一步下降。这背后的原理就是上一节说的：模型相关性越低，平均降方差的效果越好。

4.3 代码与实测：参数少也能打出好牌

随机森林的工程实现非常成熟，sklearn 的 RandomForestClassifier 基本是开箱即用。给你一个可以直接跑的示例：

from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score from sklearn.datasets import load_digits X, y = load_digits(return_X_y=True) rf = RandomForestClassifier( n_estimators=200, max_depth=12, max_features='sqrt', random_state=42, oob_score=True ) print("交叉验证准确率:", cross_val_score(rf, X, y, cv=5).mean().round(4)) print("OOB 准确率:", rf.oob_score_.round(4))

n_estimators 是森林里树的数量。我的实测经验是：从 50 棵涨到 300 棵，精度提升最明显；从 300 棵涨到 1000 棵，提升就非常有限了；再往上只是纯粹烧算力。max_features 反而比 n_estimators 更容易影响结果。当特征间相关性很强时，max_features 设太小会让单棵树精度下降，设太大又会让树之间太像，需要通过交叉验证找一个中间值。

随机森林另一个让新手安心的特点是，它对异常值和噪声的容忍度很高。因为每棵树只看到部分样本，少数脏样本只会影响少数几棵树，投票之后错误被稀释。这也是为什么我在做陌生数据的基线模型时，几乎无脑先用随机森林探底。

5. Boosting自AdaBoost到GBDT：把"纠错"变成主旋律

5.1 AdaBoost：给犯错样本加权重

Boosting 家族的第一站是 AdaBoost。它的核心机制是样本权重。一开始所有样本权重相同，训练第一棵弱树；然后统计哪些样本被分错了，把它们的权重调高，让下一棵树在训练时不得不"多关照"这些难啃的样本。每一轮根据当前模型的错误率计算一个权重系数 α = 0.5·ln((1-e)/e)，错误率越低，这轮模型在最终投票里的发言权越大。

打个比方：AdaBoost 像一个老师，学生每做错一道题，就在错题本上给这道题做记号，下次复习时重点突破。几轮迭代之后，几乎所有样本都能被正确分类，但要注意一点——它会把大量注意力集中在噪声样本上。如果数据里的错标签很多，AdaBoost 反而容易被带偏。我实际用下来，AdaBoost 对噪声数据的抵抗力不如随机森林，现在直接用它做生产的场景已经很少了，更多是作为理解 Boosting 的入门台阶。

5.2 GBDT：从调权重到拟合残差

GBDT（梯度提升树）换了个思路。它不强调整体改变样本权重，而是让每一棵新树去拟合前面所有树的"残差"，也就是真实值与当前预测值之间的差距。具体到数学上，这个残差是损失函数关于当前预测值的负梯度，所以叫"梯度提升"。

为什么这能行？想象你要预测房价，第一棵树预测出一个基础值，结果每个样本都普遍偏低，说明模型存在系统性偏差；第二棵树就去拟合这些偏差，学到的是一系列"修正量"。预测时把修正量按一定步长加上去，误差就小一圈。这个过程不断重复，每加一棵树，模型就向前一步，是一种在函数空间里做梯度下降的思路。

两个关键参数需要特别留意。一个是学习率 learning_rate，控制每棵新树贡献的步长，通常取 0.01 到 0.1。另一个是每棵树的深度，GBDT 里的单棵树不需要很深，深度 3 到 6 就够用了，因为每棵树只需要拟合一小块"修正量"，太深反而容易过拟合。树多、深度浅，加上学习率小，这是 GBDT 最常见的配置组合。

5.3 工程化的梯度提升库补了什么

GBDT 在理论上很漂亮，但直接写实现很痛苦。以 XGBoost 为代表的工程化版本把这件事推向了极致：损失函数扩展到了二阶导数，相当于在梯度下降里引入了曲率信息，收敛更快；目标函数加上了正则项，能直接惩罚树的复杂度；还内置了列采样和缺失值自动处理。后来 LightGBM 又用直方图算法把训练速度提升了一个量级，还支持类别特征直接入树。

这一代库的普及带来的结果是：梯度提升树在结构化数据上几乎成了默认的高精度方案。我的习惯做法是，如果随机森林基线不够理想，下一步就是用这些梯度提升库，配合早停机制调一版更强的模型。早停很关键，它可以在验证集指标不再提升时自动停止添加树，既省时间又防止过拟合。

6. 实战选型与调参：随机森林还是梯度提升树？

6.1 表格数据上的选择逻辑

很多初学者问的第一个问题就是：到底用随机森林还是用 XGBoost/LightGBM？我的答案取决于数据的条件和你的目标。

先看随机森林。它在高维特征、特征噪声较多、样本量不大的场景下表现稳，因为对特征做了随机抽样，不容易被一堆无关特征带偏；且树的训练天然可以并行，调参负担小，两三个参数就能拿到还不错的模型。如果你需要解释性和快速验证，随机森林是很好的起点。

再看梯度提升树。它在特征已经清洗过、样本量较大、对精度要求高的场景下通常能压过随机森林，因为它逐步拟合残差，每一层都在为前面的错误做补偿。缺点是参数多，学习率、树深度、子采样比例、正则项都要照顾到，而且训练是串行的，调起来比随机森林费劲得多。

6.2 调参顺序和常见坑

随机森林我建议按这个顺序调：先定 n_estimators 到一个足够大的值，再调 max_features，然后看 min_samples_leaf，最后考虑 max_depth。其中 max_features 的影响最大，min_samples_leaf 设得稍大一些（比如 20 以上）能显著提升泛化能力，付出的精度代价很小。

梯度提升树的调参顺序不一样：先固定一个较小的 learning_rate（比如 0.05），再调 max_depth 和 subsample，然后用早停确定树的数量，最后可以进一步降低学习率换更多的树。这里有个新手最爱踩的坑：一开始就把 learning_rate 设成 0.5，然后发现树的数量怎么都调不稳，验证集波动极大。小学习率配多棵树，是大梯度提升库用起来的基本原则。

另外还有两个容易被忽视的坑。第一个是特征重要性误读：当特征之间存在强相关时，随机森林的特征重要性会被放大，看似重要的特征其实可能是沾了相关特征的光。这种情况我一般会配合"排列重要性"（打乱某个特征后看指标下降幅度）交叉验证。第二个是分类不平衡问题：在类别极度不平衡的数据上，直接跑默认配置的树模型，很容易得到"全预测为多数类"的高准确率，要优先考虑样本权重或者采样策略。

6.3 我实测下来的体感

多说一点个人经验。我经常在结构化数据集上同时跑随机森林和梯度提升库，结论通常是：在干净数据上，后者赢；在脏数据上，前者更抗揍。有一次做某跨平台系统的用户行为预测，特征噪声很大、缺失值多，随机森林 OOB 分数稳定在 0.84，梯度提升树使劲调也只能到 0.83，还动不动因为某个极端特征过拟合。后来换到另一个特征工程做得比较干净的数据集，同样的两套模型，梯度提升树的优势立刻显现，领先了 2 到 3 个百分点。

所以我现在的策略很固定：先拿随机森林跑基线，用 OOB 误差做快速验证，确认特征和数据质量没问题；再上梯度提升树，用小学习率配早停去冲精度。两套模型都保留了，最后在验证集上看结果决定用哪套，或者干脆把两者的预测结果做简单平均，往往还能再挤出一个点的提升。

最后分享一个小技巧：无论用哪种树模型，都别忘了在训练前把特征的量纲差异考虑进去。虽然树模型不做特征缩放也能跑，但某些实现里特征取值范围差异过大会影响直方图的构建效率。还有，遇到时间序列数据时别直接用默认的 K 折交叉验证，要用按时间顺序划分的验证方式，否则你是在用未来预测过去，评估结果会虚高。这些坑都是实际项目里一点点踩出来的，写在这里，希望你少走弯路。