XGBoost混合模型预测股票价格：网格搜索与离散小波变换实战

简介：一份基于XGBoost混合模型进行股票预测研究的工程硕士学位论文，适合金融数据分析、机器学习及量化交易方向的读者参考。论文从课题背景与国内外研究现状出发，系统梳理股票预测理论基础，深入讲解决策树、CART、GBDT与XGBoost原理，并介绍AR、MA、ARMA、ARIMA等时间序列模型，为构建混合模型奠定完整理论框架。核心研究内容包括构建XGBoost模型、设计其与随机森林、支持向量机等结合的集成预测方案，采用MSE、MAE、R^2等指标评估性能，并通过历史股价、财务报告等数据进行实证分析，还讨论了过拟合等问题及未来改进方向。资源为1个PDF文件，大小3.48MB，包含论文全文、目录与摘要，中英文摘要及完整章节结构清晰。目前已有655人学习，适合需要系统掌握XGBoost在金融预测中应用方法的研究生、工程师及量化爱好者。

1. XGBoost 混合模型做股票预测：一条从单模型到混合模型的落地路径

把 XGBoost 单独丢给股票数据，效果往往不如“先降噪、再分工”的混合模型——这是我自己实测时的结论，也是这篇论文从头到尾的推进逻辑。它先用网格搜索把 XGBoost 的超参从手调玄学变成可枚举的寻优流程，再引入离散小波变换把价格序列拆成低频趋势和高频噪声，最后用 ARIMA 接手线性部分、XGBoost 学习非线性残差，逐级得到 GS-XGBoost、DWT-GS-XGBoost、DWT-ARIMA-GSXGB 三套可对比的模型。这篇文章按这三套模型的落地顺序拆解：每套模型的定位、核心参数、可抄作业的代码，以及论文里不会写的坑。适合打算用树模型做时序预测的开发者参考。

2. GS-XGBoost：网格搜索如何把超参寻优变成可落地的流程

2.1 为什么单靠 XGBoost 不够：超参之间的耦合关系

XGBoost 的默认参数在普通表格数据上表现不错，但换到股票价格这种信噪比极低的时序数据，默认参数几乎等于盲调。影响最大的几个超参是：n_estimators（树的数量）、max_depth（树深度）、learning_rate（步长收缩）、subsample和colsample_bytree（行/列采样）、reg_alpha和reg_lambda（L1/L2 正则）。这些参数不是独立的，比如把learning_rate调小之后，通常需要同步把n_estimators调大才能保持拟合能力，但训练时间会成倍上涨。手调时最容易出现的情况是：调了一下午，最后发现真正起作用的是某个参数区间压根没试过。

论文里 GS-XGBoost 的核心思想不是发明新算法，而是把“调参”变成一个可复现的流程：先圈定参数候选区间，然后用交叉验证对每组参数组合打分，最后把最优参数组合代回 XGBoost 重新训练。这个思路对任何想复现结果的人都友好，因为参数表是明确写出来的，而不是“我调了很多次感觉这个好”。

2.2 网格搜索的工作原理与时间序列的切分方式

网格搜索本质上就是穷举：把所有候选参数组合排列组合，每一组都做 K 折交叉验证，取平均分最高的那组。但这里有一个很容易翻车的前提：普通KFold是随机打乱后切分，用在时间序列上等于把未来数据偷给了训练集，交叉验证分数会虚高。论文里没有特别强调这一点，但落地时必须换成TimeSeriesSplit——它按照时间顺序划分，训练集永远在验证集之前。

参数区间怎么圈定也是有套路的。第一轮粗搜时，参数跨度按数量级来，比如learning_rate从 0.01 到 0.1、max_depth从 3 到 7、n_estimators从 100 到 1000，目的是找到“最优值大概在哪个区域”。第二轮细搜时，在粗搜最优值周围缩小步长，比如learning_rate在 0.01 到 0.05 之间按 0.01 步进。直接一步到位做全量精细搜索，耗时通常不可接受。

2.3 可抄作业的实现：XGBoost + GridSearchCV 完整流程

import xgboost as xgb import numpy as np from sklearn.model_selection import GridSearchCV, TimeSeriesSplit from sklearn.metrics import mean_squared_error, mean_absolute_error # 前置：X_train, y_train, X_test, y_test 已经按时间切好 # 特征是滞后价格和技术指标，标签是未来N日收盘价 param_grid = { 'n_estimators': [300, 500, 700], # 树的数量，先粗搜确定量级 'max_depth': [3, 4, 5], # 金融数据上3~5通常够用，再深就是噪音 'learning_rate': [0.01, 0.03, 0.05], # 小步长配多棵树是常见组合 'subsample': [0.7, 0.8, 0.9], # 行采样比例，防止过拟合 'colsample_bytree': [0.7, 0.8], # 列采样比例，增加随机性 'reg_alpha': [0.1, 1.0], # L1正则，特征多时可以加大 'reg_lambda': [1.0, 2.0], # L2正则，控制叶子权重幅度 } model = xgb.XGBRegressor( objective='reg:squarederror', eval_metric='rmse', random_state=42 ) # 时序数据不能用随机打乱的 KFold tscv = TimeSeriesSplit(n_splits=5) search = GridSearchCV( estimator=model, param_grid=param_grid, scoring='neg_mean_squared_error', # sklearn 的搜索流程喜欢“越大越好” cv=tscv, n_jobs=-1, verbose=1 ) search.fit(X_train, y_train) print('best_params:', search.best_params_) print('best_cv_mse:', -search.best_score_) best_model = search.best_estimator_ y_pred = best_model.predict(X_test) print('mse:', mean_squared_error(y_test, y_pred)) print('mae:', mean_absolute_error(y_test, y_pred))

这段代码里有几个点值得展开说。objective='reg:squarederror'对应回归任务的平方误差，是预测连续数值时的标准选择；如果改成分类任务，比如预测涨跌符号，换成binary:logistic即可。scoring='neg_mean_squared_error'是因为GridSearchCV内部默认取分数最大值，而 MSE 是越小越好，所以取负号让“最优”方向对齐。TimeSeriesSplit(n_splits=5)把训练数据切成 5 段，每次用前 k 段训练、第 k+1 段验证，保证验证集永远在时间上晚于训练集。n_jobs=-1表示所有 CPU 核并行跑，但要注意：参数组合多的时候内存消耗会很大，建议先用 2.2 节说的粗搜缩小范围。

2.4 网格搜索的边界：提升幅度有限，但不是无用功

用 GS-XGBoost 跑出来的最优参数，和默认参数相比一般会有稳定但有限度的提升。原因在于：XGBoost 本身已经是强学习器，网格搜索只是把参数空间压缩到一个好区域，并没有改变模型结构。论文里后续实验结果也印证了这一点——GS-XGBoost 相对于原始 XGBoost 有改善，但幅度远不如引入离散小波变换后明显。这也是为什么论文没有停在这一步，而是继续做 DWT-GS-XGBoost 和 DWT-ARIMA-GSXGB。对实际项目的启示是：网格搜索解决“参数摆在哪”的问题，但解决不了“模型结构本身就吃不下这个数据形态”的问题。

3. DWT-GS-XGBoost：离散小波变换先把噪声拎出去，再交给模型

3.1 为什么股价序列需要先“拆层”再建模

股价序列是非平稳的，均值、方差都在随时间漂移，里面混杂着长期趋势、周期性波动和随机噪声。直接用 XGBoost 拟合原始价格，模型会把一部分随机噪声当作规律去学，导致训练集拟合得很好、测试集上泛化一塌糊涂。离散小波变换的思路是先把信号拆成低频近似部分和高频细节部分：低频部分对应趋势和主要波动形态，高频部分里既包含有意义的短期波动，也包含大量噪声。

关键操作不是简单地把高频部分全删掉，而是做阈值收缩：保留幅度大的系数，把幅度小的系数压向零。这样做的好处是，去噪后的序列保留了主要形态，又不会把噪声的毛刺原样喂给模型。论文里 DWT-GS-XGBoost 的做法，就是先对原始价格序列做小波去噪和重构，再用去噪后的序列去训练 GS-XGBoost。这一步让模型看到的数据“干净”了很多。

3.2 小波基、分解层数、阈值方式怎么定

不同小波基相当于不同形状的“放大镜”，对信号局部形态的刻画方式不一样。实际使用中，我一般直接看论文采用的思路，再根据数据长度和特征微调。

分解层数的选择有一个简单判断方式：如果去噪后的曲线在关键拐点处明显滞后于原始价格，说明层数偏多；如果曲线仍然毛刺很多，说明层数偏少。论文第 4 章里对 DWT 实验有专门的分析，核心结论就是“去噪要保留趋势的相位特征，而不是把曲线磨平”。

3.3 可抄作业的代码：小波去噪 + XGBoost 预测

import numpy as np import pywt def wavelet_denoise(series, wavelet='db4', level=4, mode='soft'): """ 离散小波去噪：保留低频趋势，对各层高频细节做阈值收缩 series: 1D numpy array，例如收盘价序列 """ # periodization 模式可以减少边界效应，但要求长度能被 2^level 整除 coeffs = pywt.wavedec(series, wavelet, mode='periodization', level=level) # coeffs[0] 是近似系数（低频趋势），coeffs[1:] 是各层细节系数 coeffs_thresh = [coeffs[0]] # 低频分量不动 n = len(series) for i in range(1, len(coeffs)): # 噪声方差用中位绝对偏差估计 sigma = np.median(np.abs(coeffs[i])) / 0.6745 # universal threshold: sigma * sqrt(2 * log(n)) thresh = sigma * np.sqrt(2.0 * np.log(n)) coeffs_thresh.append(pywt.threshold(coeffs[i], thresh, mode=mode)) denoised = pywt.waverec(coeffs_thresh, wavelet, mode='periodization') return denoised[:len(series)]

这里注意mode='periodization'会让重构结果和原序列长度不完全一致，所以最后用切片截断。阈值公式是信号处理里经典的 universal threshold，对高斯白噪声的假设在实际行情数据上不完全满足，但作为一个基线去噪手段足够好用。sigma用中位绝对偏差估计，比直接用标准差更抗异常值——股票数据里的极端涨跌正好是异常值重灾区。

去噪之后接模型就简单了：把denoised序列按照时间顺序构造滞后特征，然后套用第 2 章的 GS-XGBoost 流程。注意，小波去噪的阈值参数必须在训练集上估计，再应用到测试集，不能拿全样本一起算，否则会引入未来信息。

3.4 去噪后的变化：误差降了，但要注意滞后

去噪之后最直观的变化不是 MSE 下降多少，而是预测曲线不再贴着噪声的毛刺走。这个效果在 MAE 上有体现，在可视化对比里更明显：预测线更平滑，拐点位置和真实趋势的对应关系更清楚。但小波重构有一个副作用——边界处的波形会有一定滞后和失真，而股票预测最关心的恰恰是“最近一天”。这个问题在论文的实验部分不会展开讲，但在实际落地时是必须处理的，我在第 5 章的避坑部分会专门说明。

4. DWT-ARIMA-GSXGB：ARIMA 与 XGBoost 的分工是“线性 + 非线性残差”

4.1 混合模型的理论依据：为什么单模型搞不定的原因

股票价格序列可以粗略分解为线性自相关部分和非线性动态部分。ARIMA 这类线性模型对趋势性和周期性自相关结构的描述能力强，但对突变、交互效应这些非线性特征无能为力；XGBoost 擅长从特征中学习非线性映射，但让它在纯外推场景下直接预测价格，效果往往不稳定。论文里 DWT-ARIMA-GSXGB 的设计思路，是先把原始序列用小波拆开，再让 ARIMA 和 XGBoost 各管一段：ARIMA 负责低频趋势里的线性部分，XGBoost 负责 ARIMA 吃剩下的非线性残差。

这个分工的关键在于“残差”。让两个模型同时对原始价格建模，它们会互相抢活，预测结果也难解释；但把建模目标错开之后，ARIMA 的输出是趋势基准，XGBoost 的输出是修正项，最后叠加得到最终预测。这样每个模型都只学自己擅长的部分，混合起来才是正向增益。

4.2 混合模型的完整流程

整个流程按以下步骤走：

1. 对原始收盘价序列做 DWT 去噪分解，得到低频趋势序列
2. 对低频趋势序列拟合 ARIMA(p, d, q) 模型，得到趋势预测值和训练集拟合值
3. 计算 ARIMA 残差：真实低频值减去拟合值
4. 构造滞后特征和外部特征，用 XGBoost 对残差建模
5. 最终预测值 = ARIMA 趋势预测值 + XGBoost 残差预测值

这套流程的核心思想是“解耦”：DWT 先分掉噪声，ARIMA 分掉线性趋势，XGBoost 处理剩余的非线性残差。三层各管一段，比三个模型同时预测同一个目标要合理。

4.3 ARIMA 定阶：ACF/PACF 定 p、q，AIC 做最终确认

ARIMA 的三个参数里，d 通常取 1——股价序列一阶差分后基本平稳，这是经验值。p 和 q 的初判靠 ACF 和 PACF 图：ACF 拖尾、PACF 截尾，倾向 AR 项；ACF 截尾、PACF 拖尾，倾向 MA 项；两者都拖尾，就用 ARMA(p, q)。图上的判断往往有模糊地带，我一般会在初判阶数附近做一个小范围遍历，用 AIC 或 BIC 最小的组合作为最终定阶。注意，AIC 偏好模型复杂度略高，BIC 对复杂度惩罚更重，时序长度不大时两者结果通常一致。

4.4 可抄作业的代码：ARIMA + XGBoost 混合流水线

import numpy as np from statsmodels.tsa.arima.model import ARIMA from xgboost import XGBRegressor # 前置： # series_train: 小波去噪后的训练集低频序列 # series_test : 小波去噪后的测试集低频序列 # X_train_feats / X_test_feats: 由滞后价格构造的特征矩阵 # 第一步：ARIMA 拟合低频趋势 arima_order = (2, 1, 2) # 初判值，后面用 AIC 微调 arima_model = ARIMA(series_train, order=arima_order) arima_fit = arima_model.fit() # fittedvalues 在差分后开头会缺若干值，要对齐下标 y_arima_train = arima_fit.fittedvalues y_arima_train = y_arima_train.fillna(method='bfill').values # 处理开头缺失 # 残差 = 真实低频值 - ARIMA 拟合值 residual_train = series_train - y_arima_train # 第二步：XGBoost 学习残差 xgb_model = XGBRegressor( n_estimators=300, max_depth=3, learning_rate=0.03, subsample=0.8, colsample_bytree=0.8, objective='reg:squarederror', random_state=42 ) xgb_model.fit(X_train_feats, residual_train) # 第三步：测试集上的混合预测 # ARIMA 做 step 外推预测 y_arima_test = arima_fit.forecast(steps=len(series_test)) # XGBoost 预测测试集残差 residual_pred_test = xgb_model.predict(X_test_feats) # 最终预测 = ARIMA 趋势 + XGBoost 残差修正 y_final_pred = y_arima_test + residual_pred_test

这段代码有三个容易出错的细节。第一，arima_fit.fittedvalues在差分后会比原始序列短，直接减会报错，要先对齐。第二，forecast(steps=...)输出的是纯 ARIMA 外推值，它只用了历史信息，没有看到测试集任何数据，这是对的；XGBoost 那一路用的是测试集特征，也是滞后信息，没有用到未来。第三，XGBoost 的学习目标不是价格本身，而是 ARIMA 没吃掉的残差，所以它不会再重复建模线性趋势，两个模型的输出相加才是最终的预测值。

如果你的数据里存在明显的周期性，比如日内交易的小时级数据，可以考虑在 ARIMA 前先做一次差分或季节分解，把周期项剥出来，否则残差里残留的周期会让 XGBoost 学得很吃力。

5. 参数边界与常见踩坑：五个必须复盘的现场

5.1 小波去噪用了全样本，测试集信息被提前偷看

现象：离线测试时 MSE 低到离谱，一上模拟盘立刻原形毕露。

原因：小波去噪的阈值是用整个序列（包括测试集）算出来的。universal threshold里的sigma和log(n)都依赖全局统计量，测试集的噪声水平被算进了阈值，相当于模型在训练阶段就知道了测试段的波动幅度。

解决：所有预处理都在训练集上完成，测试集只做变换。具体做法是：先用训练集估计每个分解层的sigma和thresh，再把这个固定阈值应用到测试集的对应层。如果用的是自定义的 transform，记得把训练阶段学到的参数存下来，而不是每次重新算。

5.2 网格搜索用了普通 KFold，交叉验证分数虚高

现象：GridSearchCV跑出来的最优参数，在真实的时间后段验证集上完全对不上。

原因：KFold随机打乱后切分，后面的数据可能被划进训练集、前面的数据被划进验证集，时序结构被破坏，模型实际上偷看到了未来。

解决：改用TimeSeriesSplit，或者手工按时间点切死：比如前 80% 训练、后 20% 验证。这个替换成本很低，但对金融时序是质的区别。

5.3 小波重构的边界效应：最新一天预测老是被带偏

现象：历史区间回测拟合得很好，但预测最近一周时，最后一天的值总是明显偏离真实走势。

原因：离散小波变换在信号两端有边界效应，重构精度在两端明显下降。而股价序列恰恰是“越靠后越重要”，预测目标本来就落在右边界上。

解决：分解时用mode='periodization'或提前做对称延拓，预测后对边界附近的点做单独观察；如果严重，可以把序列尾部补一段虚拟数据，预测完再截掉。另一种做法是只取 DWT 重构后的低频分量做趋势判断，高频细节交给残差模型去修正，减少边界处高频噪声的直接影响。

5.4 网格搜索参数组合爆炸，跑了几个小时没动静

现象：第一次跑 GS-XGBoost，参数网格设了 300 多组组合，每组又做 5 折交叉验证，训练时间直接不可接受。

原因：参数网格没有做粗筛，所有维度同时精细枚举。XGBoost 本身训练快，但乘上参数组合数和折数，耗时是指数级增长的。

解决：两段式搜索。第一步用小n_estimators、浅max_depth做粗搜，只确定最优区域；第二步在最优区域周围缩小网格细搜。如果粗搜后仍然摸不清方向，可以用RandomizedSearchCV先随机探 50~100 组，再用GridSearchCV精调。

5.5 只看 MSE，交易决策里方向老反

现象：回归模型的 MSE 比基准低不少，但实际按预测做涨跌判断时，方向准确率几乎和抛硬币一样。

原因：MSE 衡量的是数值偏差，对符号错误不敏感。预测值从 10.01 变到 10.02，MSE 很小，但如果真实值是 9.99，方向已经反了。回归模型在价格高度自相关的序列上，经常出现“数值贴近、方向相反”的情况。

解决：评估指标要加方向准确率，也就是预测涨跌方向和实际涨跌方向一致的比例。更严格的话，再加上按预测方向交易的模拟盈亏曲线。论文实验里用到了均方误差、平均绝对百分比误差这些指标，但如果你要把模型用于实际决策，方向准确率比纯数值误差重要得多。

6. 把三套模型接回自己的数据：滚动回测与方向性改造

6.1 先搭一个滚动回测框架

论文里的实验是切一次训练集和测试集，但实际使用中，我更推荐滚动回测：训练窗口固定长度，不断向后滑动，用每个窗口末尾训练出的模型去预测未来一小段。这样可以更真实地模拟模型上线后的表现，也能观察预测稳定性。

def rolling_backtest(df, train_window=800, test_step=20, horizon=5, pipeline_fn): """ df: 按时间升序排列的价格数据 pipeline_fn: 接收 train_df, test_df, horizon，返回预测数组 """ preds, trues = [], [] i = train_window while i + horizon <= len(df): train_df = df.iloc[i - train_window: i] test_df = df.iloc[i: i + horizon] pred = pipeline_fn(train_df, test_df, horizon) preds.extend(pred) trues.extend(test_df.iloc[:horizon]['close'].values) i += test_step return trues, preds

这个框架的pipeline_fn可以自由换成第 2、3、4 章的任意模型。注意train_window要覆盖至少一个完整的市场波动周期，否则模型没见过大跌或大涨的形态，预测容易失真。

6.2 从收盘价预测改成方向预测

论文模型预测的是收盘价数值，但真正做交易决策时，更重要的是方向。我常用的改动是：把训练目标从“未来 N 日收盘价”改成“未来 N 日收益率”，让模型直接学习涨跌幅度，然后再按符号判断方向。

df['future_return'] = df['close'].shift(-horizon) / df['close'] - 1.0 df = df.dropna() # 目标是回归未来收益率，预测值大于 0 视为看涨

这样改之后，方向准确率才有实际意义。

6.3 一段关于模型数量的教训

最开始的版本里，我恨不得把 ARIMA、XGBoost、LSTM 全塞进一个框架，让它们互相投票。结果每个模型都在拟合同一个噪声，效果自然很难看。后来对着论文的框架重新梳理了一遍，才意识到问题不在模型数量，而在分工：先降噪解耦、再各司其职、最后叠加。从那以后我接新标的数据，第一件事永远是先用 DWT 看低频分量的形态，再决定上哪套模型组合。希望帮到你。

本文还有配套的精品资源，点击获取