贝叶斯优化LSSVM回归预测：Matlab超参数调优实战指南

简介：针对数据回归预测场景，这份基于贝叶斯优化算法优化最小二乘支持向量机（BO-LSSVM）的Matlab源码包，面向需要快速搭建回归模型并完成超参数自动调优的读者，可用于风速、负荷、销量等连续值预测任务。压缩包共15个文件，包含14个.m源码文件与1个xlsx数据集，整体仅28KB。其中LSSVM_ToolBox工具箱（如trainlssvm.m、simlssvm.m、kernel_matrix.m等）覆盖最小二乘支持向量机的训练、仿真与核函数计算，main.m入口程序注释清晰，可直接运行，并输出R2、MAE等评价指标，便于对比不同参数下的回归效果。已有249人下载学习，适合机器学习初学者及科研人员作为LSSVM回归与贝叶斯优化结合的参考实现。

1. 贝叶斯优化与 LSSVM：为什么回归预测最后都卡在超参数上

任何用过支持向量机做回归预测的人，都会遇到同一个尴尬点：模型本身不难，难的是让 gamma 和 sigma 两个参数听话。LSSVM 把标准 SVR 的不等式约束换成等式约束，训练变成解线性方程组，速度确实快了，但它对正则化参数和核函数参数的敏感度一点没降低。手工试参在小样本上还能凑合，数据一多、指标一变，网格搜索和随机搜索的代价立刻让人肉疼。贝叶斯优化（BO）盯上的正是这类“目标函数是黑匣子、每次评估都要完整训练一次模型”的问题。它用历史评估结果引导下一次采样，用几十次尝试就能逼近理想参数。这篇笔记把 BO-LSSVM 在 Matlab 里的完整实现拆开讲：目标函数怎么封装、超参数范围怎么定、交叉验证怎么做、哪些坑最容易翻车。读完你能直接照着搭一套能跑的回归预测流程。

2. 从原理到选型：BO-LSSVM 为什么适合数据回归预测

2.1 LSSVM 回归把 SVM 变成了线性方程组求解

标准 SVR 的决策函数可以写成 f(x) = w^T·φ(x) + b，目标函数里带着 ε 不敏感损失和松弛变量，求解时本质上是一个凸二次规划问题。样本量一大，二次规划的求解代价就会明显上升，而且还要额外调 ε 这个参数。LSSVM 的思路是换掉约束形式：把原来的不等式约束改成等式约束，损失函数从 ε 不敏感损失换成误差平方和。这样一来，KKT 条件退化成一个线性方程组，求解从二次规划变成了“解一次矩阵方程”，训练时间明显缩短。

对回归预测来说，LSSVM 的预测输出仍然是 f(x) = Σ α_i·K(x_i, x) + b 的形式，只是 α 和 b 的求法变了。由于用的是最小二乘损失，所有训练样本都会对模型产生贡献，不像标准 SVR 那样只保留支持向量。这个特性带来一个实际后果：LSSVM 对离群点更敏感，数据里如果有明显异常值，预测曲线会被拉偏。做数据回归预测时，第一步应该是检查离群点，而不是直接丢进模型。

LSSVM 有两个超参数主导模型行为。一个是正则化参数 gamma（也叫 gam），它控制拟合误差的惩罚强度：gamma 太大，模型会把训练集噪声也学进去，测试集误差反升；gamma 太小，模型欠拟合，预测曲线过于平坦。另一个是 RBF 核的 sigma（也叫 sig2），它控制核函数的宽度：sigma 只有 1e-2 量级时，每个样本只在小邻域内有影响，预测曲线震荡得厉害；sigma 到 1e2 量级时，核函数几乎变成常数，模型退化成近似线性。这两个参数互相制约，网格搜索要覆盖两个维度，组合数立刻膨胀。

2.2 贝叶斯优化在做什么：用历史评估引导下一次采样

网格搜索的问题在于评估次数指数膨胀。假设 gamma 取 20 个候选值、sigma 取 20 个候选值，就要做 400 次完整的“训练 + 交叉验证”。LSSVM 单次训练再快，乘上交叉验证折数后也会变得很可观。随机搜索比网格搜索好一些，但它没有记忆，不会因为“这一带参数效果差”就主动避开，也不会因为“这一带效果好”就加密采样。贝叶斯优化做的就是这两件事：用高斯过程拟合目标函数，然后在后验分布上构造采集函数，每次迭代都选“最有潜力”的下一个采样点。

贝叶斯优化的核心逻辑并不复杂。每评估一组超参数，就得到一对“参数→目标值”观测，高斯过程用这些观测更新对目标函数的估计。这个估计包含两个信息：每个位置的预测均值，以及预测的不确定性。采集函数把均值和不确信性组合成一个分数，分数最高的点就是下一次迭代的候选点。这正是“在已知最优区域附近挖掘”和“在未探索区域探索”之间的权衡，不用人手动干预。Matlab 从 R2016b 开始自带 bayesopt 函数，高斯过程模型、采集函数、迭代历史可视化都是现成的，不需要自己推导矩阵运算。

我在实际做回归预测项目时，倾向于把 BO 用在所有“评估一次就要完整训练一个模型”的场景上。LSSVM 正好符合：它训练快，但交叉验证之后单次评估也要几秒到几十秒，网格搜索要跑几百次，BO 通常 50 次左右就能收敛到可用的参数区域。调参这种事，本质是在烧评估预算，BO 的每一轮评估都花在刀刃上。

3. Matlab 实现 BO-LSSVM：目标函数封装与核心代码拆解

3.1 文件规划与整体流程

要跑通 BO-LSSVM，我一般会把代码拆成三个部分：数据文件、目标函数、主程序。数据文件里面存好样本特征矩阵 X 和标签向量 Y；目标函数负责接收一组超参数并返回交叉验证误差；主程序定义超参数搜索空间并调用 bayesopt。LSSVM 本身依赖 LSSVMlab 工具箱，里面提供 lssvm、simlssvm、RBF_kernel 这些核心函数。

整体流程是固定的：加载数据 → 定义 gamma、sigma 的搜索空间 → 调用 bayesopt 反复评估目标函数 → 拿到最优超参数 → 用最优超参数重新训练最终模型 → 在测试集上计算评价指标。这里有一个容易忽略的环节：BO 阶段用交叉验证选参数，最终评估阶段要用固定划分的训练集/测试集重新训练和预测，不能把 BO 阶段交叉验证里的某一次划分直接当成最终结果。

3.2 目标函数 bo_lssvm_objective.m 怎么写

目标函数是整个 BO-LSSVM 的核心，它决定了贝叶斯优化在优化什么。我推荐的写法是用 5 折交叉验证的平均 MSE 作为目标值，而不是直接拿训练集误差。如果拿训练集误差当目标，BO 很容易找到一组过拟合的超参数，在测试集上表现很差。以下代码可以直接保存为 bo_lssvm_objective.m。

function objective = bo_lssvm_objective(x) % BO-LSSVM 目标函数：返回 5 折交叉验证的平均 MSE % 输入 x：bayesopt 传入的 table，字段为 gamma、sigma % 输出 objective：标量，越小代表这组超参数越好 gamma = x.gamma; sigma = x.sigma; % 固定随机种子，让交叉验证划分可复现 rng(42); % 加载样本数据 load('dataset.mat', 'X', 'Y'); n = size(X, 1); cv = cvpartition(n, 'KFold', 5); mse_list = zeros(cv.NumTestSets, 1); for i = 1:cv.NumTestSets idx_train = cv.training(i); idx_test = cv.test(i); X_train = X(idx_train, :); Y_train = Y(idx_train, :); X_test = X(idx_test, :); Y_test = Y(idx_test, :); type = 'function estimation'; model = lssvm(X_train, Y_train, type, gamma, sigma, 'RBF_kernel', 'preprocess'); Y_pred = simlssvm(model, X_test); mse_list(i) = mean((Y_test - Y_pred).^2); end objective = mean(mse_list); end

这段代码有两个关键细节。第一，目标函数接收的 x 是 table 而不是数组，必须用 x.gamma 和 x.sigma 取字段值，新手很容易在这里写成 x(1)、x(2)。第二，lssvm 最后一个参数传 'preprocess'，工具箱会自动对训练集做归一化并记录预处理参数，预测时 simlssvm 会把同样的变换应用到测试集上，不需要手动调用 mapminmax。

交叉验证折数可以根据样本量调整。样本只有一两百条时，5 折每折训练集大约 80% 的数据量，划分稳定；样本上千条时，可以改成 10 折，代价是单次评估时间翻倍。如果数据量特别小，比如只有 50 条，建议直接用留一法或者把折数提高到 n-1，否则验证误差的方差太大，BO 的目标值会来回跳。

3.3 主程序 bo_lssvm_main.m：定义搜索空间并调用 bayesopt

主程序负责定义超参数搜索空间和调用 bayesopt。gamma 和 sigma 的取值范围需要根据数据量级设定，常见做法是 gamma 取 [1e-2, 1e3]、sigma 取 [1e-3, 1e2]，然后通过 Transform 参数把两个维度都改成 log 尺度。

%% BO-LSSVM 主程序 clear; clc; close all; % 加载数据 load('dataset.mat', 'X', 'Y'); % 定义超参数搜索空间，log 变换让数量级跨度大的参数被均匀搜索 gamma = optimizableVariable('gamma', [1e-2, 1e3], 'Transform', 'log'); sigma = optimizableVariable('sigma', [1e-3, 1e2], 'Transform', 'log'); % 调用贝叶斯优化 results = bayesopt(@bo_lssvm_objective, [gamma, sigma], ... 'IsObjectiveDeterministic', false, ... 'MaxObjectiveEvaluations', 60, ... 'AcquisitionFunctionName', 'expected-improvement-plus', ... 'Verbose', 1); % 从优化结果中取最优参数 x_best = results.XAtMinEstimatedObjective; gamma_best = x_best.gamma; sigma_best = x_best.sigma; fprintf('最优 gamma = %.4f, sigma = %.4f\n', gamma_best, sigma_best);

Transform='log' 是一个容易被忽略但影响很大的参数。如果不做 log 变换，bayesopt 在线性尺度上均匀采样，大部分评估会落在 1e2~1e3 这个区间，而 gamma 在 1e-2~1e1 范围内的好解被采到的概率很低。做了 log 变换后，每个数量级被搜索到的机会均等，这对 gamma 和 sigma 这种跨度好几个数量级的参数几乎是必须的。

IsObjectiveDeterministic 参数设置为 false，是因为目标函数内部使用 cvpartition 做随机划分，同一组超参数在不同调用下目标值会有微小波动。如果在目标函数里固定了 rng，也可以把这项改成 true，Matlab 会用确定性优化策略加速收敛。MaxObjectiveEvaluations 设 60 是经验值，小数据集 30 到 40 次就够用，特征多、样本上千时建议调到 100。采集函数用 expected-improvement-plus，它在 EI 的基础上对采样密集区域加了惩罚，避免贝叶斯优化反复尝试同一个点。

3.4 LSSVM 工具箱的准备与路径配置

运行代码前要把 LSSVMlab 工具箱加入 Matlab 搜索路径。最常见的方式是把工具箱文件夹放在当前目录下，然后执行 addpath(genpath('lssvmlab'))，或者用 pathtool 图形界面把整个工具箱目录加进去并保存。如果运行时提示 Undefined function 'lssvm'，大多数情况就是路径没配置好，而不是代码本身的问题。

工具箱版本建议选支持当前 Matlab 版本的发布版。LSSVMlab 的接口这些年变动不大，lssvm、simlssvm、RBF_kernel 这三个函数的调用方式基本一致，但不同版本对预处理选项的支持有细微差别。如果遇到参数格式报错，优先检查工具箱版本和调用参数个数，而不是怀疑代码逻辑。把工具箱路径配置这一步单独写在脚本开头，可以避免换机器后跑一半才发现缺路径。

4. 数据预处理与评价指标：让 BO-LSSVM 的回归预测结果可信

4.1 先划分数据集还是先归一化

数据预处理的顺序直接影响回归预测结果的可信度。很多新手习惯先对整个数据集做归一化，再划分训练集和测试集。这种做法会引入数据泄漏：归一化时用到的最大最小值来自全部数据，测试集的信息在训练阶段就被模型间接看到了，最终测试集误差偏乐观，部署后真实误差往往更大。正确的顺序是先划分，再只用训练集的统计量对训练集和测试集做同一套变换。

用 lssvm 的 preprocess 选项是最省事的方式。工具箱在训练时记录训练集的均值和标准差，预测时把同一组参数套到测试集上，从底层避免了数据泄漏。如果数据范围差异特别大，比如某些特征在 0~1、另一些在 1e4~1e5 量级，可以在调用 lssvm 之前自己用 mapminmax 单独归一化，但归一化参数必须只从训练集计算，测试集用训练集的 ps 做变换。

4.2 回归评价指标：R2、RMSE、MAE、MAPE 的计算函数

做回归预测只报一个 R2 远远不够。R2 对离群点不敏感，数据里有一个极端值就能把 R2 拉得很高，但实际预测偏差可能很大。我习惯四个指标一起算：R2 看整体拟合程度，RMSE 看大误差惩罚，MAE 看平均绝对偏差，MAPE 看相对误差。下面的函数可以直接复用。

function [R2, RMSE, MAE, MAPE] = regression_metrics(Y_true, Y_pred) % 计算回归预测的四个常用评价指标 % Y_true：真实值列向量 % Y_pred：预测值列向量 n = length(Y_true); SS_res = sum((Y_true - Y_pred).^2); SS_tot = sum((Y_true - mean(Y_true)).^2); R2 = 1 - SS_res / SS_tot; RMSE = sqrt(mean((Y_true - Y_pred).^2)); MAE = mean(abs(Y_true - Y_pred)); MAPE = mean(abs((Y_true - Y_pred) ./ Y_true)) * 100; end

R2 的计算中有一个常见陷阱：如果真实值序列的方差很小，SS_tot 趋近于零，R2 会变成极大的负数或正数，这时 R2 就失去了参考价值。MAPE 同理，当真实值里有接近零的样本时，相对误差会被放大到离谱的程度。遇到这种数据，优先看 RMSE 和 MAE，而不是执着于 R2。

4.3 用最优超参数训练最终模型并预测

贝叶斯优化结束后，不能直接用 BO 阶段交叉验证里的模型做预测。BO 的目标函数只是用来选超参数，最终模型需要用固定划分的训练集重新训练，再在测试集上评估。下面这段代码完成这个过程。

% 固定随机种子，按 8:2 划分训练集和测试集 rng(42); n = size(X, 1); idx_rand = randperm(n); idx_train = idx_rand(1:round(0.8 * n)); idx_test = idx_rand(round(0.8 * n) + 1:end); X_tr = X(idx_train, :); Y_tr = Y(idx_train, :); X_te = X(idx_test, :); Y_te = Y(idx_test, :); % 用最优超参数训练最终模型 model_final = lssvm(X_tr, Y_tr, 'function estimation', gamma_best, sigma_best, 'RBF_kernel', 'preprocess'); Y_pred_final = simlssvm(model_final, X_te); % 计算四个评价指标并输出 [R2, RMSE, MAE, MAPE] = regression_metrics(Y_te, Y_pred_final); fprintf('R2 = %.4f, RMSE = %.4f, MAE = %.4f, MAPE = %.2f%%\n', R2, RMSE, MAE, MAPE); % 绘制真实值与预测值对比 figure; plot(Y_te, 'b-o', 'LineWidth', 1.5); hold on; plot(Y_pred_final, 'r-*', 'LineWidth', 1.5); legend('真实值', '预测值'); xlabel('样本序号'); ylabel('目标值'); title('BO-LSSVM 回归预测结果');

这里必须重新划分训练集和测试集，而不是直接用整个数据集训练。如果样本量特别小，比如不足 100 条，8:2 划分会让测试集只有十几个样本，评价指标的波动会非常大。这种情况更推荐在目标函数里多做几折交叉验证，最终评估时也用交叉验证的平均误差来报告，而不是依赖单次随机划分。画图时注意样本顺序，如果数据本身带时间顺序，需要按时间序列划分，避免随机打乱破坏时序关系。

5. BO-LSSVM 避坑记录：五类高频翻车现象与对策

5.1 目标函数误差曲线来回跳动，最优参数不稳定

现象：bayesopt 迭代过程中，目标值忽高忽低，有时同一组超参数连续评估两次结果差异很大，最优参数每次运行都不一样。

原因：目标函数里每次进入都重新做交叉验证划分，没有固定随机种子，导致目标值包含大量划分噪声。另一个常见原因是数据里有离群点，MSE 作为目标函数被个别极端样本主导。

解决：在目标函数开头加一行 rng(42)，固定交叉验证划分，让同一组超参数的评估结果可复现。同时检查数据离群点，如果离群点不多，可以把目标函数从 MSE 换成 MAE，降低对异常值的敏感度。若是样本量太少导致的划分不稳定，优先增加交叉验证折数。

5.2 BO 选出的参数在测试集上大幅失效

现象：目标函数返回的交叉验证误差很低，最优参数在测试集上预测效果却大幅下滑，R2 暴跌，误差曲线整体偏离。

原因：这是典型的过拟合到验证集。如果目标函数拿训练集误差当优化目标，BO 会专门找那些把噪声也拟合进去的超参数，交叉验证只是形式上的，没有起到约束作用。

解决：目标函数必须返回交叉验证的平均误差，而且每一折的测试数据在训练时不能以任何形式参与。检查 bo_lssvm_objective.m 里是否用了“先全部归一化再划分”的错误流程，这也会让验证误差虚低。

5.3 预测值整体偏移，曲线形状对但数值不对

现象：预测曲线和真实曲线趋势一致，但整体高出一截或低出一截，误差集中在一个固定偏置上。

原因：归一化顺序错了。如果在划分数据集之前就做了全局归一化，测试集的最大最小值混进了训练过程，模型学到的偏置不对。或者是手动归一化时测试集用了自己的统计量，而不是训练集的 ps。

解决：统一用 lssvm 的 preprocess 选项，或者严格遵循“先划分，再只用训练集统计量归一化”。如果已经用全局归一化跑了一轮，不要心存侥幸，重跑一遍数据预处理流程才是最快的修复方式。

5.4 运行报错：Undefined function 'lssvm'

现象：脚本运行到 lssvm 调用处直接中断，报错 Undefined function 'lssvm'，或者提示 lssvm 的参数个数不对。

原因：LSSVMlab 工具箱没有添加进 Matlab 搜索路径，或者工具箱版本与当前 Matlab 版本不兼容。

解决：在脚本开头加 addpath(genpath('lssvmlab'))，确认工具箱目录真实存在。如果加了路径还是报错，检查 lssvm 函数的调用格式，LSSVMlab 不同版本对 preprocess 参数的处理有差异，把调用格式统一为 lssvm(X, Y, type, gam, sig2, kernel, preprocess) 七参数形式。

5.5 R2 接近 0.99 但 MAE 依然很大

现象：R2 指标很好看，画出来的预测曲线看着也对，但 MAE 和 RMSE 数值很大，实际部署时偏差明显。

原因：R2 的计算依赖总平方和，当数据整体平稳、方差较小时，R2 会被抬高；或者数据里有离群点，R2 对离群点不敏感，但 RMSE 和 MAE 会如实反映偏差。

解决：不要只看 R2，四个指标一起报。如果 R2 高而 MAE 大，绘制预测值和真实值的散点图，查看是否存在系统偏置或个别极端点。回归预测的验收标准应该以部署误差为准，而不是以指标好看为准。

6. 进阶：把 BO-LSSVM 用得更稳的三个技巧

6.1 两段式搜索：先粗后细，缩窄范围再搜一轮

第一轮 BO 完成后，最优参数通常落在一个大致区域，但精度不够。常见做法是把 gamma 和 sigma 的范围缩窄到最优值附近一个数量级，再跑第二轮。这个策略能利用第一轮的后验信息，用更少的评估拿到更精细的参数。

% 第一轮最优参数为 gamma_best、sigma_best gamma2 = optimizableVariable('gamma', [gamma_best / 10, gamma_best * 10], 'Transform', 'log'); sigma2 = optimizableVariable('sigma', [sigma_best / 10, sigma_best * 10], 'Transform', 'log'); results2 = bayesopt(@bo_lssvm_objective, [gamma2, sigma2], ... 'IsObjectiveDeterministic', false, ... 'MaxObjectiveEvaluations', 30, ... 'AcquisitionFunctionName', 'expected-improvement-plus');

第二轮迭代次数不需要太多，30 次足够。如果第一轮最优参数落在搜索空间边界，比如 gamma_best 接近 1e3，说明初始范围设窄了，先把范围扩大再缩窄。

6.2 多次运行 BO，验证最优参数的可靠性

贝叶斯优化有一定的随机性，初始采样点不同，收敛结果可能不同。我会固定不同的随机种子跑 5 次，把每次的最优参数列出来。如果 5 次结果都落在同一片区域，说明目标函数够平滑、参数够可靠；如果每次结果差好几个数量级，说明目标函数噪声太大，先修数据问题再调参。

for trial = 1:5 rng(trial); results_trial = bayesopt(@bo_lssvm_objective, [gamma, sigma], ... 'MaxObjectiveEvaluations', 40, ... 'AcquisitionFunctionName', 'expected-improvement-plus'); x_best_trial = results_trial.XAtMinEstimatedObjective; fprintf('第 %d 次：gamma = %.4f, sigma = %.4f\n', trial, x_best_trial.gamma, x_best_trial.sigma); end

这个习惯帮我避免了很多次“参数看着很好、换数据就翻车”的情况。如果多次运行结果不稳定，我会先回头检查数据质量，而不是继续跑更多轮 BO。

6.3 用收敛曲线判断 BO 是否真正收敛

bayesopt 返回的 results 对象里包含完整的迭代历史，把它画出来能直观看到目标值和最优估计随迭代的变化。如果曲线在后 20 次迭代内几乎没有下降，说明 BO 已经收敛，继续跑是浪费算力；如果曲线还在明显下降，说明参数空间里还有更好的区域没被探索到，可以考虑增加迭代次数。这个验证步骤花不了半分钟，但对判断“参数是否调够了”非常实用。

我在一个工业过程数据集上第一次跑 BO-LSSVM 时，目标函数里没做交叉验证，结果 BO 给出一组在训练集上误差极小的参数，测试集上直接失效。后来把 5 折交叉验证放进目标函数并固定随机种子，才拿到真正可用的模型。调参这件事，最怕的不是慢，而是花了时间却得到一个只在指标上好看的模型。希望这套实现和避坑记录能帮你少走这段弯路。

本文还有配套的精品资源，点击获取