小样本回归建模利器：MARS与ARESLab实战解析

简介：ARESLab是一套面向Matlab和Octave的开源工具箱，完整实现了由Jerome H. Friedman于1991年提出的多元自适应回归样条方法，通过构造分段线性或三次函数逼近自变量与目标变量的复杂关系，适合处理高维非线性回归与预测建模问题。压缩包共32个文件，以25个M语言源码文件为算法主体，并配有3个TXT说明文档、3个GIF演示动图和1个PDF手册，整体大小4.99MB，源码与文档分工明确，便于系统学习和本地调试。工具箱覆盖模型构建、特征选择与剪枝、交叉验证评估、预测及可视化等完整流程，利用铰链函数和交互项自动捕捉数据的局部非线性特征，多个示例脚本还可展示不同数据场景下MARS模型的训练与应用。目前已有912人学习，面向数据科学研究者、学生及工程技术人员，既适合算法教学参考，也能直接应用于实际回归建模项目。借助这套源码，读者可以深入理解基础函数构造、剪枝策略与参数调校逻辑，并可以根据需要修改和扩展工具包，进而提升非线性建模实践能力。

1. 多元自适应回归样条为什么在小样本建模里比随机森林更值得试：ARESLab 是什么

一个传感器标定项目，只有 200 条实测数据，变量 12 个，彼此之间还有明显相互作用。线性回归欠拟合，随机森林精度还行但给不出一个能写进技术文档的公式，神经网络在这种样本量下基本是玄学。这时候多元自适应回归样条（MARS）是最划算的选择，而 ARESLab 就是 MATLAB 生态里流传较广的 MARS 开源实现，源码干净、模型结构透明、能直接读到系数。这套方法特别适合做预测建模又必须解释模型逻辑的工程师：设备寿命预测、能效回归、工艺参数拟合都在它的射程内。ARESLab 提供的不是黑匣子，而是一个你能拆开看的回归模型，这也是它比一堆封装好的机器学习库更耐用的原因。

2. MARS 到底拟合了什么：铰链函数、两步训练循环与 ARESLab 源码视角

2.1 MARS 的积木：铰链函数 max(0, x-t) 和 max(0, t-x) 怎么拼出非线性

MARS 和普通多项式回归最大的区别在于基函数。多项式回归用的是 x、x²、x³ 这类全局函数，一个点上的波动会牵动整条曲线；MARS 用的则是铰链函数，名字很形象，就是在一根棍子某个位置折一下。对变量 x 和切点 t，左铰链是 max(0, t-x)，右铰链是 max(0, x-t)，切点 t 就是数据里跑出来的折点。

单个铰链函数本身只有一段线性，但多个铰链函数叠加起来就能逼近任意形状的曲线。打个比方，多项式回归像用一个连续弯曲的弹簧去贴合数据，铰链函数则像一堆可以任意拼接的直尺段，每段在哪个位置拐弯完全由数据决定。这个特性让 MARS 在高维场景里特别占便宜：它只在真正需要拐弯的地方放切点，其余区域保持直线，不会像高阶多项式那样为了拟合一个局部点把整条曲线抖出巨大振幅。

更关键的是，铰链函数之间可以做乘积。一个基函数如果写成 max(0, x1-0.3) × max(0, x2-0.7)，就表示 x1 超过 0.3 且 x2 超过 0.7 时该基函数才被激活，这天然就是变量之间的交互项。不需要像传统回归那样预先指定交互变量，MARS 会在训练过程中自己找。理解这一点，后面调 maxInteractions 参数心里就有底了：交互阶数控制了模型允许使用多少层铰链函数相乘。

2.2 forward 加基函数、backward 剪枝：ARESLab 的训练循环其实就是两步

读 ARESLab 的 aresbuild.m 源码，会发现它的训练过程非常朴素，就两个阶段。先看 forward pass：模型从常数基函数 1 出发，每一步把当前所有基函数分别与一个新铰链函数相乘，生成候选基函数池。候选来源是全部变量、全部观测值作为潜在切点、左右两个方向。这一步产生的候选数量很大，算法逐个计算加入后训练误差的下降幅度，选中下降最多的那个加入模型，然后重复。整个过程一直持续到基函数数量达到 maxFuns 上限，或者新增基函数已经不能显著降低误差。

forward pass 结束后模型普遍是过拟合的，因为它每一步都在贪心地降低训练误差，所以紧接着是 backward pass。backward 阶段一次从完整模型中删除一个基函数，每删一次评估一次模型质量，最后选出表现最好的那个子集。这里的评估指标不是 R2，而是 GCV（广义交叉验证），它把训练误差除以一个跟基函数数量相关的惩罚因子。基函数越多惩罚越大，GCV 会在拟合度和复杂度之间找一个平衡点。这个设计思路值得注意：MARS 不是用独立的验证集来挑模型，而是用 GCV 直接完成结构选择，对小样本场景特别友好，不额外消耗数据。

ARESLab 整个训练流程和 Friedman 1991 年提出的原始 MARS 算法基本一致，工程实现上没有花哨改动，这恰恰是它的优点。你在 aresbuild.m 里能看到清晰的循环、候选生成和剪枝逻辑，没有复杂的抽象层，改起来也方便。

2.3 模型不是黑匣子：用 fieldnames 直接拆开 ARESLab 的 model 结构

ARESLab 和其他机器学习库的另一个显著区别是，它返回的模型就是一个普通 MATLAB struct，不是封装好的对象，里边的字段直接暴露给你。装好源码包后，可以先用一个脚本看看 model 到底装了什么：

% 生成默认参数对象，先观察默认配置 params = aresparams; disp(params); % 用 50 条随机数据训练一个极简模型 X = randn(50, 3); y = randn(50, 1); model = aresbuild(X, y, params); % 把 model 的所有字段名和类型打出来 fn = fieldnames(model); for i = 1:numel(fn) fprintf('字段 %s，类型 %s\n', fn{i}, class(model.(fn{i}))); end

跑完这段你会看到，model 里存的是 knots、coeffs、splines 这类原始信息。knots 记录每个基函数的切点位置，coeffs 是每个基函数的线性系数，splines 描述基函数由哪几个铰链函数相乘组成。也就是说，ARESLab 把最终模型完全摊开成一张可以手工核对的表，训练完直接读这些字段就能还原出完整的回归公式，不需要任何黑盒解释工具。

这也解释了为什么 ARESLab 在工程交付场景里比很多深度学习模型好使。给甲方或者生产部门讲模型逻辑时，你不需要说"这是一个复杂的神经网络"，而是能直接列出：这个模型用了几个基函数，每个基函数在哪个变量哪个位置切了一刀，权重是多少。模型可解释性不是额外工作，而是模型结构自带的。

3. 用 ARESLab 跑通第一个 MARS 模型：最小脚本、三组关键参数、读懂结构

3.1 最小可运行脚本：构造含交互项的样本数据并完成训练与预测

先假设一种最理想的情况：数据本身由 MARS 的铰链函数生成，这样我们可以直观验证 ARESLab 能不能把真值结构还原出来。下面的脚本构造了一个含线性项、铰链项和交互项的三部分数据，然后用 ARESLab 训练和预测：

rng(42); n = 300; % 生成两个自变量 x1 = linspace(-1, 1, n)'; x2 = rand(n, 1); % 真值里同时包含线性项、铰链函数项和交互项 y = 1.2 * x1 + 0.7 * max(0, x2 - 0.5) + 0.4 * x1 .* x2 + 0.05 * randn(n, 1); X = [x1, x2]; % 设置参数：最多 15 个基函数，允许两两交互 params = aresparams('maxFuns', 15, 'maxInteractions', 2); % 训练模型 model = aresbuild(X, y, params); % 模型预测 yhat = arespredict(model, X); % 计算训练集 R2 r2 = 1 - sum((y - yhat).^2) / sum((y - mean(y)).^2); fprintf('训练集 R2 = %.4f\n', r2);

这段脚本逻辑很直白。y 的生成公式里特意放进了 max(0, x2-0.5)，它本身就是 MARS 的右铰链函数，训练时 aresbuild 应当能从数据里把 x2 的切点 0.5 附近找回来。x1 .* x2 则是一个简单交互项，对应 maxInteractions=2 时模型会生成的铰链函数乘积。噪声取了 0.05 的小值，保证信号远大于噪声，让训练过程不至于被随机扰动带偏。

跑通这个脚本后，重点看 R2 和模型选出来的基函数是否合理。如果 R2 明显偏低，优先检查 x2 的切点是否落在 0.5 附近；如果交互项没被选进去，就要确认 maxInteractions 是不是被设成了 1。这套自检逻辑在换到真实数据时同样适用，遇到任何意外结果，先回到这条生成链上排查。

3.2 必调的 3 个参数：maxFuns、maxInteractions、cubic 怎么配合

ARESLab 的 aresparams 里参数不少，但实际调参时真正需要动的就三个：maxFuns、maxInteractions、cubic，其余保持默认就好。下面这张表可以当作起手参考：

maxFuns 相当于给模型准备了多少块积木。设太小，模型复杂度不够，非线性拟合不透；设太大，模型会在 forward 阶段生成大量基函数，但 backward 阶段会通过 GCV 剪掉多余的，所以实际风险有限。我的习惯是设一个比预期大一倍的数，让剪枝过程自己决定最终结构。

maxInteractions 是三个参数里最容易导致翻车的一个。设为 1 时模型完全没有交互项，适合变量间独立或者数据量很小的场景。设为 2 时模型允许铰链函数两两相乘，表达力会明显增强，但代价是 forward 阶段的候选基函数数量暴涨，训练时间变长，过拟合风险也上升。数据量低于 200 条时我一般不做超出一阶交互的尝试。

cubic 容易被误解为"更高级的版本"。线性铰链在切点处有折角，cubic 模式用三次样条把折角抹平，曲线更光滑，适合物理曲线本身光滑的场景。但开启后模型外推行为不可控，后文避坑部分会专门展开。

3.3 看懂 knots、coeffs、splines：把 ARESLab 的模型结构翻译成人话

训练完成后，模型不是一个"打分黑箱"，而是一组可以逐条读出的规则。用下面这段脚本把模型信息完整打印出来：

% 打印基函数数量 fprintf('基函数数量：%d\n', numel(model.coeffs)); % 逐条打印每个基函数的系数和结构 for k = 1:numel(model.coeffs) fprintf('基函数 %2d，系数 %8.4f\n', k, model.coeffs(k)); if isstruct(model.splines{k}) for j = 1:numel(model.splines{k}) fprintf(' 变量 %d，切点 %.4f，方向 %d\n', ... model.splines{k}(j).var, ... model.splines{k}(j).knot, ... model.splines{k}(j).dir); end end end

这段代码读的是 MARS 模型的通用结构：coeffs 是基函数的线性权重，splines 描述每个基函数内部怎么组合。所谓"splines{k}(j).var"就是第 k 个基函数用到的第 j 个铰链函数的变量编号，knot 是切点位置，dir 是方向，1 表示右铰链 max(0, x-t)，-1 表示左铰链 max(0, t-x)。如果模型里某个基函数有多条这样的记录，说明它是一个交互项，由多个铰链函数相乘。

注意不同版本 ARESLab 内部字段名可能略有差异，跑之前先用 fieldnames(model.splines{k}) 确认实际字段名。读懂这套结构最大的价值在于，当模型预测结果异常时，你能直接定位到具体某个基函数的问题，而不是像随机森林那样只能干瞪眼。生产环境做模型评审时，这份打印输出本身就是一份可交付的技术说明。

4. ARESLab 实战避坑：5 个让模型翻车的细节

4.1 数据没做标准化，knots 会集体偏向大数值变量

现象：训练完看模型结构，发现基函数总是优先选中数值范围大的变量，数值范围小的变量几乎没机会进入模型，整体预测精度也比预期低一截。

原因：MARS 的 forward 阶段是贪心搜索，每一步都在挑能让训练误差下降最多的候选基函数。数值范围大的变量，一个很小的相对变化就能带来很大的绝对波动，从而更轻松地拉低误差，算法自然倾向于先选它。这不是逻辑缺陷，而是尺度带来的统计偏差。真实案例里，一个取值范围 0-1 的占比变量和一个取值范围 100-1000 的流量变量放在一起，不标准化的话，后者几乎会主导整个模型。

解决：训练前对全部自变量做 zscore 标准化，关键是要把训练集的均值和标准差保存下来，预测新数据时用同一套参数转换：

% 训练前：基于训练集计算并保存统计量 mu_x = mean(Xtr); sd_x = std(Xtr); Xtr_std = (Xtr - mu_x) ./ sd_x; % 训练时使用标准化后的数据 model = aresbuild(Xtr_std, ytr, params); % 预测新数据时，同样使用训练集的 mu_x 和 sd_x Xte_std = (Xte - mu_x) ./ sd_x; yhat = arespredict(model, Xte_std);

标准化不影响模型的可解释性，因为 knots 里记录的切点都成了标准化后的值，反向还原公式时乘回 sd_x 再加 mu_x 即可。这是 MARS 使用里最容易被忽略、改善效果又最明显的一步。

4.2 交互阶数贪过头：训练 R2 接近 1，验证集上现原形

现象：把 maxInteractions 设为 3 甚至更高后，训练集 R2 漂亮得惊人，几乎贴着 1，但用交叉验证或留出集一测，误差比 maxInteractions=1 的加性模型还大。

原因：交互阶数每提高一档，forward 阶段生成的候选基函数数量呈组合级别增长。高阶交互项能精确记住训练集里的局部组合，但对应的 h 是过拟合了训练集的噪声结构。GCV 虽然会施加惩罚，但在小样本下惩罚力度有限，拦不住所有危险的高阶项。

解决：把 maxInteractions 当成复杂度旋钮，而不是"越高越强"的增益开关。经验做法是先跑 maxInteractions=1 的加性模型作为精度基线，再开 2 做对比，只有数据量上千且变量数不多时才考虑 3。判断标准不要看训练集 R2，要看交叉验证误差的均值。一个判断信号是：maxInteractions 提高后训练 R2 涨了 5 个百分点，验证集误差却涨了，这就是典型的交互项过拟合。

4.3 cubic 外推过冲：三次样条把预测值推出物理边界

现象：开启 cubic 模式后，训练范围内的预测曲线很平滑，一旦输入变量超出训练数据范围，预测值会以三次多项式的速度疯狂发散。比如温度预测模型，训练数据里温度最高 80 度，输入 85 度时预测值直接算出负的数值。

原因：cubic 模式用三次分段样条替换线性铰链，这个样条函数在训练数据覆盖的区间内表现良好，但一旦越出最后一个切点，函数行为由样条的边界多项式决定，而三次多项式的尾部是发散的结构。线性铰链在边界外是匀速延伸，三次样条在边界外则是加速弯曲，外推风险完全不同。

解决：确认数据是否真的会超出训练范围。如果预测时输入变量的边界被约束在生产工艺允许范围内，开 cubic 没问题；如果需要外推，就保持 cubic=0。另一个妥协做法是，训练时把切点设置在变量分布的 5% 到 95% 分位，不设置在极值点，减少边界处的样条弯曲压力，但这种方式只能延缓发散，不能根治。我的原则是：物理过程本身平滑就用 cubic，工程上要防超限就老老实实用线性铰链。

4.4 交叉验证结果不稳定：同一份数据两次实验得分不一样

现象：同样的数据、同样的参数，连续跑两次训练和验证，得到的误差指标不一样，偏差大到能影响你判断模型好坏。第一次觉得模型可用，第二次觉得它不行。

原因：ARESLab 的剪枝用 GCV，不依赖随机分折，但如果你自己用 cvpartition 或 arescv 做交叉验证来评估模型，随机分折就会引入不稳定。样本量越小，每次分折的数据构成差异越大，评估指标波动就越明显。MARS 本身是确定性的，同一个训练集只会产出一个模型，波动通常来自验证流程的随机性。

解决：在脚本开头固定随机种子，并把折数写死：

rng(2024); % 固定随机种子，保证实验可复现 cv = cvpartition(numel(y), 'KFold', 5);

如果想看模型的真实稳定性，还可以跑多次重复 k 折，记录每次的验证误差，最终用均值和标准差来报告，而不是单次得分。这比对着一次 R2 争论模型好坏靠谱得多。

4.5 NaN、常数列、哑变量陷阱：ARESLab 不做数据清洗

现象：训练时报错，或者模型训练完发现某个系数特别诡异，但数据肉眼看着很正常。细查才发现，某列里有几个 NaN，某个类别变量转哑变量时保留了全部类别。

原因：ARESLab 对输入数据的处理是"裸奔"的，不会替你插补缺失值，也不会自动识别常数特征。NaN 参与计算时在 MATLAB 里会产生 NaN 传播，训练过程不会显式报错，但结果整个废掉。常数列的方差为 0，标准化时会得到 Inf 或者 NaN，同样会污染模型。哑变量保留全部类别会导致完全多重共线性，MARS 的贪心搜索在这种输入下选出的基函数结构会很怪异。

解决：训练前做一次严格的数据体检：

% 检查缺失值 assert(all(all(~isnan(X))), '数据里还有 NaN，先处理缺失值'); % 删除方差接近 0 的常数列 sd_x = std(X); X(:, sd_x < 1e-10) = []; % 类别变量转哑变量时记得删掉第一列作为参照 dummy = dummyvar(grp2idx(categorical_var)); dummy(:, 1) = []; % 避免完全共线性

把这段体检写进数据预处理脚本，而不是在训练脚本里临时清理。这样能保证每次实验的数据口径一致，也方便别人接手时理解为什么某列被删掉。

5. 把 ARESLab 模型交付出去：手写预测函数并验证移植正确性

5.1 手写一个 mars_predict：把模型从 MATLAB 搬去生产环境

ARESLab 的模型在 MATLAB 里用 arespredict 就能预测，但生产环境未必是 MATLAB。常见的落地路径是把模型结构导出成系数和切点表，然后在 Python、C# 或者 Java 里重新实现预测逻辑。MARS 的预测本身很简单：输出等于截距加上所有基函数的值乘以对应系数，每个基函数是若干铰链函数的乘积。这个公式用手写代码完全可以复现：

% 纯 MATLAB 手写 MARS 预测函数，不依赖 ARESLab % 逻辑：yhat = coeffs(1) + Σ coeffs(k) * B_k(X) function yhat = mars_predict_manual(model, X) yhat = model.coeffs(1) * ones(size(X, 1), 1); for k = 2:numel(model.coeffs) b = ones(size(X, 1), 1); for j = 1:numel(model.splines{k}) v = model.splines{k}(j).var; % 变量编号 t = model.splines{k}(j).knot; % 切点位置 d = model.splines{k}(j).dir; % 方向：1 或 -1 b = b .* max(0, d * (X(:, v) - t)); end yhat = yhat + model.coeffs(k) * b; end end

注意，model.splines{k}(j) 这个结构体的字段名在不同版本的 ARESLab 里可能不同，动手前先用 fieldnames 确认实际字段，重要的是"变量编号、切点、方向"这三条信息和铰链函数相乘的逻辑。写完后用同一个测试集做一致性校验：

y1 = arespredict(model, Xte); y2 = mars_predict_manual(model, Xte); disp(max(abs(y1 - y2)));

如果最大绝对偏差在浮点误差范围内，说明移植无误；如果偏差很大，检查字段名和方向定义。这个手写函数本身就是跨语言移植的模板，换成 Python 也只是把循环换成 numpy 数组运算的事。

5.2 用重复 k 折验证模型值不值得上线

手写预测函数确认无误后，还有一个习惯值得保留：不要用单次训练出的模型直接上线，先做一次重复 k 折实验，看模型在相同参数下的误差均值和方差。MARS 在小样本下模型结构可能因为 GCV 的细微变化而抖动，跑一遍重复实验能发现训练集里有没有个别样本在主导整个模型结构。

% 5 次重复 5 折交叉验证，统计误差分布 rng(2024); err = zeros(5, 5); for r = 1:5 cv = cvpartition(numel(y), 'KFold', 5); for f = 1:cv.NumTestSets tr = training(cv, f); te = test(cv, f); m = aresbuild(X(tr,:), y(tr), params); p = arespredict(m, X(te,:)); err(r, f) = mean((p - y(te)).^2); end end fprintf('CV RMSE 均值 %.4f，标准差 %.4f\n', mean(err(:)), std(err(:)));

我现在的习惯是，任何回归项目拿到数据的第一天，先用这个脚本把 MARS、线性回归和随机森林都跑一遍对比，再决定后续投入方向。看标准差值比看均值更能暴露模型稳定性问题，这也是我被 MARS 的 GCV 结构选择坑过一次之后养成的习惯，希望帮到你。

本文还有配套的精品资源，点击获取