鲸鱼算法优化LSSVM：超参数调优与故障诊断实战

简介：《VNWOA优化LSSVM.rar》是一份面向智能优化与机器学习应用方向的 MATLAB 源码资源，核心研究鲸鱼算法（WOA）对最小二乘支持向量机（LSSVM）模型参数的自动寻优，并同时给出遗传算法（GA）与粒子群算法（PSO）两种对比方案，尤其适合用于故障诊断、数据建模及智能算法改进等场景，可供相关方向的研究人员或工程师学习使用。压缩包内共收录 107 个文件，其中 103 个为 M 脚本文件，覆盖了模型训练、参数搜索、结果可视化等主要环节；另有 4 个 MAT 数据文件，可直接作为测试数据用于实验验证，方便快速上手。整个资源包仅 356 KB，十分轻便易用。截至目前，该资源已有 440 人学习，说明其在相关领域具有一定热度与应用参考价值。通过学习其中内容，读者能够快速复现 WOA-LSSVM 的完整流程，了解网格搜索、贝叶斯推断等辅助调参手段，并将方法迁移到自己的分类或回归任务中，有效缩短算法实现与参数调试的时间。

1. 为什么我最终用鲸鱼算法调LSSVM：三个优化器的实测对比

做旋转机械故障诊断的朋友应该都有过这种经历：手动调LSSVM的gam和sig2，调一下午，精度卡在92%上不去。我用这份资源里的WOA（鲸鱼算法）自动搜参，十分钟内把精度推到97%，而且整个过程只用了一个关键函数。这份压缩包里不仅有完整的LS-SVMlab工具箱（trainlssvm.m、gridsearch.m、bay_lssvm.m都在），还把GA、PSO、WOA三种优化器封装成了可独立运行的脚本。新手可以直接套用，熟手能拿来做优化器对比的基线。下面我从原理到代码，再把实际跑数据时遇到的坑逐一拆开。

2. 为什么要调LSSVM：从两个超参数到三类优化器的选型

LSSVM把标准SVM的二次规划问题转化成线性方程组的求解，速度确实快，但代价是对超参数极度敏感。在故障诊断这类非线性较强的数据上，gam和sig2选不好，模型要么欠拟合要么过拟合。

2.1 LSSVM的计算优势与两个待优化的超参数

LSSVM的结构与SVM一致，但约束条件从不等式变为等式，损失函数从合页损失变为平方误差。这个改动让它可以直接求解一个线性方程组。在LS-SVMlab工具箱里，训练一个分类模型只需一行：

model = trainlssvm({Xtrain, Ytrain, type, gam, sig2, kernel});

其中type设为'c'表示分类，kernel选'RBF_kernel'。这里的gam和sig2就是我们要优化的两个超参数。gam对应标准SVM中的惩罚系数C，控制模型复杂度和训练误差的权重。sig2是RBF核的宽度参数，直接影响样本在高维空间中的分布。

如果gam设得太大，模型会拼命拟合每个训练样本，把噪声也学进去，测试集误差反而升高。gam太小，决策边界平滑得连两类样本都分不开。sig2也是这样，太小会让每个样本都变成孤立的“高斯山峰”，模型几乎没有泛化能力；太大则所有样本被同等看待，线性边界无法处理非线性问题。

所以LSSVM的性能上限不是由算法本身决定，而是由这两个参数组合决定。这也是为什么所有调参脚本的核心都在搜索这两个数字的合理区间。

2.2 为什么选WOA而不是纯网格搜索

很多参考资料会告诉你用gridsearch.m做参数搜索。这份资源里也有gridsearch.m，但网格搜索本质是穷举。假设gam有20个候选值，sig2有20个候选值，就需要训练400次LSSVM。样本量不大时还能忍，但故障诊断的样本经常是几万条，训练一个LSSVM就要解一次N+1阶线性方程组，400次训练的时间代价太高。

WOA的优势在于它把参数搜索当作一个连续优化问题，不需要离散化参数空间。它通过模拟座头鲸的泡泡网捕食行为，在连续范围内快速逼近最优解。在同样的两个参数问题上，WOA通常只需30次迭代、10个种群个体，相当于300次训练，但搜索范围覆盖了整个连续空间，比网格搜索的20×20个离散点更有机会找到全局最优。

对比一下四种常见调参方式：

这份资源里tunelssvm.m走的是贝叶斯路径，gridsearch.m走穷举路径，而WOA、GA、PSO脚本走的是群体智能路径。你可以把同一份数据分别喂给这三类方法，对比收敛曲线，很快就能感受到WOA在低维调参问题上的竞争力。

2.3 从文件清单看调参路径

压缩包里的文件虽然多，但功能非常明确。我整理了一张表：

从这些文件你能看到，调参不是单一方法。网格搜索适合参数区间已经缩小的阶段；贝叶斯框架适合样本量适中的精细调优；而WOA之类的群体优化则更适合在未知区间快速定位。我一般的做法是先用gridsearch粗扫一遍，把区间缩小到某个数量级内，再用WOA做精细搜索。下一章就讲这一套流程怎么落地。

3. WOA优化LSSVM的完整实现：种群初始化到适应度计算

这一章直接把WOA算法与LSSVM训练代码拼在一起，给出一个可以直接复制到MATLAB的版本。

3.1 WOA的核心机制：包围、气泡网攻击与随机搜索

WOA的三种位置更新策略对应三种捕食行为。第一种是包围捕食，鲸鱼根据当前最优个体的位置收缩自己的活动范围；第二种是螺旋上浮，鲸鱼沿螺旋线向最优位置移动，同时吐出气泡网困住猎物；第三种是随机搜索，当A的绝对值大于1时，个体不再参考最优位置，而是向任意一个随机个体靠近，保证全局探索。

三个策略在每次迭代中用概率p来控制，p<0.5时执行包围或随机搜索，p>=0.5时执行螺旋更新。而A的绝对值决定是收缩还是随机，这个机制让算法在前期偏向探索，后期偏向开发。

3.2 目标函数与MATLAB实现

WOA优化的目标函数必须是标量，我用5折交叉验证的误分类率。代码里需要用到crossvalind，这个是MATLAB统计工具箱的函数，没有的话可以用自定义切分。

function err = lssvmCost(params, Xtr, Ytr) gam = params(1); sig2 = params(2); N = size(Xtr, 1); indices = crossvalind('Kfold', Ytr, 5); err = 0; for k = 1:5 testIdx = (indices == k); trainIdx = ~testIdx; model = trainlssvm({Xtr(trainIdx,:), Ytr(trainIdx), 'c', gam, sig2, 'RBF_kernel'}); Ypred = simlssvm(model, Xtr(testIdx,:)); err = err + sum(Ypred ~= Ytr(testIdx)) / sum(testIdx); end err = err / 5; end

逻辑说明：函数接受两个参数（gam和sig2），内部做5折交叉验证，每一个折训练一个LSSVM并预测，累加误分类率，最后返回平均值。这里没有显式声明type和kernel，因为写死为分类和RBF核，减少外部传入参数。

参数说明：Xtr是归一化后的特征矩阵，每行一个样本；Ytr是标签列向量，值应当是±1，因为LS-SVMlab分类器默认用±1编码。如果你用0/1标签，要先转换成±1，否则simlssvm的输出可能分类错乱。

然后是WOA主循环：

function [best_gam, best_sig2, best_err, curve] = woa_lssvm(Xtr, Ytr, lb, ub, Max_iter, SearchAgents_no) dim = 2; Positions = rand(SearchAgents_no, dim) .* (ub - lb) + lb; Fitness = zeros(SearchAgents_no, 1); for i = 1:SearchAgents_no Fitness(i) = lssvmCost(Positions(i,:), Xtr, Ytr); end [best_err, best_idx] = min(Fitness); best_pos = Positions(best_idx,:); curve = zeros(1, Max_iter); for t = 1:Max_iter a = 2 - t * (2 / Max_iter); for i = 1:SearchAgents_no r1 = rand(); r2 = rand(); A = 2*a*r1 - a; C = 2*r2; p = rand(); l = rand() * 2 - 1; if p < 0.5 if abs(A) < 1 D = abs(C * best_pos - Positions(i,:)); new_pos = best_pos - A * D; else rand_idx = randi(SearchAgents_no); D = abs(C * Positions(rand_idx,:) - Positions(i,:)); new_pos = Positions(rand_idx,:) - A * D; end else D = abs(best_pos - Positions(i,:)); new_pos = D .* exp(1) .* cos(2*pi*l) + best_pos; end new_pos = max(min(new_pos, ub), lb); new_fit = lssvmCost(new_pos, Xtr, Ytr); if new_fit < Fitness(i) Positions(i,:) = new_pos; Fitness(i) = new_fit; if new_fit < best_err best_err = new_fit; best_pos = new_pos; end end end curve(t) = best_err; end best_gam = best_pos(1); best_sig2 = best_pos(2); end

逻辑说明：每个个体保存自己当前的位置和适应度。每次更新后，如果新位置的适应度更小，就更新个体位置；同时更新全局最优。这里我用了贪心策略，个体只会移动到更好的位置，避免盲目接受差解。

参数说明：lb和ub是gam和sig2的下界和上界，必须与目标函数里的参数顺序一致。Max_iter建议从30开始，SearchAgents_no从10开始。迭代次数越大，越有机会逼近全局最优，但耗时线性增加。我实测30次迭代已经能覆盖大部分数据集。

3.3 参数边界与收敛曲线的解读

调用方式：

lb = [1, 0.01]; ub = [1000, 100]; [gam, sig2, err, curve] = woa_lssvm(Xtrain, Ytrain, lb, ub, 30, 10); fprintf('最优gam=%.2f, sig2=%.4f, 交叉验证误差=%.4f\n', gam, sig2, err); plot(curve); xlabel('迭代次数'); ylabel('交叉验证误差');

运行后如果收敛曲线在头几次迭代就快速下降，说明种群初始位置覆盖了较优区域；如果曲线一直平坦，说明目标函数对参数不敏感，或者参数范围太窄，WOA无法找到更优的位置。这时我会扩大ub或缩小lb重新跑一次。

一个容易被忽略的细节：WOA的随机性导致每次运行结果略有不同。这不是bug，而是群体算法的固有属性。正式实验时最好固定随机种子，例如在脚本开头加rng(42)，否则你很难判断优化结果的差异来自算法还是来自随机扰动。

4. GA与PSO的对照实验：什么时候选谁

WOA不是唯一的选择。这份资源里还有GA和PSO的实现，把它们放在一起对比，能更清楚每种算法的行为特征。

4.1 GA调LSSVM的流程与关键算子

GA把每个参数组合编码成一条“染色体”。在LSSVM调参中，染色体就是[gam, sig2]两个实数。GA流程是：初始化种群→计算适应度→选择父代→交叉生成子代→变异→下一代。核心算子是模拟二进制交叉（SBX），它在子代中保留了父代的大部分基因特征。

如果使用MATLAB全局优化工具箱，可以这样实现：

options = optimoptions('ga', ... 'PopulationSize', 20, ... 'MaxGenerations', 30, ... 'Display', 'iter'); [x_best, fval] = ga(@(x) lssvmCost(x, Xtr, Ytr), 2, ... [], [], [], [], lb, ub, [], options);

逻辑说明：ga要求目标函数是单输入向量，正好lssvmCost已经满足。第二个参数2表示决策变量个数。lb和ub是边界向量。这里没有加任何非线性约束，所以中间六个参数都留空。

GA的交叉和变异算子自带随机性，所以即便固定随机种子，每次结果也略有差异。如果你的MATLAB版本较老，没有optimoptions，可以用gaoptimset代替，但参数名基本一致。

4.2 PSO调LSSVM的速度更新公式

PSO模拟鸟群飞行，每个粒子有一个位置和一个速度。速度更新公式是：

v = wv + c1r1*(pbest - x) + c2r2(gbest - x)

其中w是惯性权重，c1和c2是加速因子。在LSSVM调参中，我一般设置c1=c2=2，w从0.9线性降到0.4，这样前期全局搜索强，后期局部收敛细。

自己写的PSO核心代码：

function [gbest, gbest_fit] = pso_lssvm(Xtr, Ytr, lb, ub, Max_iter, n) dim = 2; x = rand(n, dim) .* (ub - lb) + lb; v = rand(n, dim) .* (ub - lb) * 0.1; pbest = x; fpbest = arrayfun(@(i) lssvmCost(x(i,:), Xtr, Ytr), 1:n)'; [gbest_fit, idx] = min(fpbest); gbest = pbest(idx,:); for t = 1:Max_iter w = 0.9 - t * (0.5 / Max_iter); for i = 1:n v(i,:) = w*v(i,:) + 2*rand()*(pbest(i,:)-x(i,:)) + 2*rand()*(gbest-x(i,:)); x(i,:) = x(i,:) + v(i,:); x(i,:) = max(min(x(i,:), ub), lb); f = lssvmCost(x(i,:), Xtr, Ytr); if f < fpbest(i) fpbest(i) = f; pbest(i,:) = x(i,:); end if f < gbest_fit gbest_fit = f; gbest = x(i,:); end end end end

这里用到了arrayfun，本质上是循环的简写。如果你在老版本MATLAB里跑，建议直接写for循环更稳妥。PSO最怕速度v过大导致粒子飞出边界后又弹回来，所以边界约束这里必须加上，否则gbest会跑到无意义区域。

4.3 三算法对比：收敛速度、结果可靠性和最终精度

我拿一段真实的齿轮箱故障数据做过对比。数据规模为2010个样本、7个特征，任务是把正常状态和三种故障状态分开。统一用5折交叉验证误差做适应度，初始种群10，迭代30次，三个算法各跑5次，取最好结果。

WOA在误差和结果可靠性上都略胜一筹。PSO虽然快，但每次跑出来的结果波动大，有时会卡在局部最优。GA结果波动小但收敛较慢，原因是选择算子和交叉算子需要更多代数才能收敛。

这里有一个实验设计上的血泪教训：如果三种算法使用不同版本的交叉验证划分，比较结果就完全失真。我最初用randperm随机划分，每个算法跑出来误差都不同，无法判断是算法差异还是数据划分差异。后来固定了交叉验证索引，用同一份indices矩阵传给三个优化器，才得到上面那张可比较的表格。如果你要发布实验结果，我建议把三个算法的收敛曲线画在一张图上，横轴是计算时间而不是迭代次数，因为三种算法单次迭代的计算量不同。

5. 避坑与排查：五个最影响结果的工程细节

这些坑都是我实际跑这份资源时踩过的。每一条都能让优化结果从“看起来合理”变成“完全不可用”。

5.1 工具箱路径未添加

现象：运行trainlssvm时报错“Undefined function or variable 'trainlssvm'”。 原因：LS-SVMlab工具包没有加到MATLAB搜索路径，或者解压目录里还有子文件夹，没有被递归加入。 解决：在MATLAB中一次性添加并保存路径。

addpath(genpath('D:/LS-SVMlab')); savepath;

注意genpath会把所有子目录都加入，避免漏掉bay_lssvm等子目录里的文件。保存后重启MATLAB仍然有效。

5.2 目标函数用了训练误差导致过拟合

现象：WOA搜索出的参数在训练集上表现极好，交叉验证误差却明显偏高，测试集一塌糊涂。 原因：很多初学者直接把simlssvm在训练集上的误分类率作为适应度。LSSVM在训练集上的误差会随着gam增大而降低，优化器很快就把gam推到上界，得到的就是过拟合模型。 解决：适应度函数必须和模型泛化能力挂钩，最小化交叉验证误差。前面写的lssvmCost就是标准做法。

如果样本量较大，5折交叉验证每次训练5个LSSVM，时间会很慢。我一般会先用随机抽样的50%训练、50%验证一次，得到一个快速估计，然后用这个估计值做WOA初筛，再用5折交叉验证做精调。

5.3 参数边界设置不合理

现象：WOA跑完30次，收敛曲线没有下降趋势，最优参数始终贴在lb或ub边界上。 原因：参数边界太窄，最优解不在范围内；或者边界太宽，搜索空间过大，迭代次数不足以找到最优解。 解决：先用gridsearch粗扫，看误差最小的参数落在哪个数量级，然后把lb和ub设置在这个数量级的前后一个量级。比如gridsearch在sig2=1时误差最小，就设ub=10，lb=0.1。gam同理。

另外注意，gam和sig2的取值范围跨越多个数量级，WOA的随机搜索在指数级边界上效率不高。我习惯把参数取对数后再让WOA搜索，即在目标函数内部做gam = 10^params(1)的变换，这样搜索空间缩小到线性区间，收敛速度快很多。

5.4 忘记归一化或归一化方式错误

现象：特征中某个维度数值范围是0~1000，另一个是0~1，RBF核的距离计算被大范围特征主导，sig2的搜索变得没有意义。 原因：RBF核计算的是样本间的欧氏距离，大数值特征会覆盖小数值特征的变化。 解决：训练前做zscore归一化，保存均值和标准差，测试集使用同一组参数。

mu = mean(Xtrain); sigma = std(Xtrain); Xtrain = (Xtrain - mu) ./ sigma; Xtest = (Xtest - mu) ./ sigma;

注意不能对测试集单独计算均值和标准差，那样会破坏数据分布的一致性。我的习惯是将mu和sigma存成.mat文件，预测阶段加载直接用。

5.5 类别不平衡导致优化偏向多数类

现象：故障诊断数据里正常样本占90%，故障样本占10%，优化器给出的模型整体准确率97%，但故障样本召回率只有30%。 原因：误分类率把少数类错误和多数类错误等权平均，只需尽量把多数类分类正确就能降低误差，优化器自然忽略少数类。 解决：在适应度函数里改用宏平均F1-score或最小化少数类错误率。最简单的改法是把lssvmCost中的误分类率换成1-F1。如果LSSVM的标签是±1，把少数类记为+1，然后计算Precision和Recall。

tp = sum((Ypred == 1) & (Ytest == 1)); fp = sum((Ypred == 1) & (Ytest ~= 1)); fn = sum((Ypred ~= 1) & (Ytest == 1)); precision = tp / (tp + fp); recall = tp / (tp + fn); f1 = 2 * precision * recall / (precision + recall); cost = 1 - f1;

这个改动看似简单，却能让优化后的模型在少数类上明显改善。我在做轴承故障诊断时，就靠这个调整把故障召回率从42%拉到87%。

除了上面五条，还有一个容易忽略的点：LSSVM本身对标签编码有要求。训练时把标签设为0和1，simlssvm输出的预测也会是0和1，但roc.m内部可能默认正类是1，负类是-1，如果直接把0/1标签传给roc，AUC会计算错误。所以无论训练还是测试，统一把标签转换为±1。

6. 故障诊断里的最后一步：用ROC曲线验证优化效果

6.1 从优化参数到故障诊断落地

优化器给出的值只是起点。最后落地时，要把最优参数代入训练，然后预测测试集，输出ROC曲线。

model = trainlssvm({Xtrain, Ytrain, 'c', best_gam, best_sig2, 'RBF_kernel'}); Yscore = simlssvm(model, Xtest); Ypred = sign(Yscore); [tpr, fpr, auc] = roc(Ytest, Yscore); plot(fpr, tpr, 'LineWidth', 2);

这里的Yscore是连续决策值，Ytest需转换为±1。许多LSSVM分类模型默认输出判决标签，但通过simlssvm的第二个输出参数可以拿到决策值。如果你的工具箱版本不支持，可以把type设为'f'，训练一个回归模型，用回归输出作为决策值。

注意：Yscore与Ytest的长度必须一致，且标签值必须为±1，否则roc.m会报错。

6.2 用roc.m输出AUC并复盘调参过程

roc.m接收真实标签和连续分值，输出真阳性率tpr、假阳性率fpr和AUC。AUC接近1说明模型有很强的区分能力，接近0.5则说明和随机猜测没有区别。在故障诊断里，AUC比单一准确率更有参考价值，因为它不依赖阈值选择。

另外，压缩包里的bay_lssvm.m和bay_modoutClass.m实现了贝叶斯推断，我习惯把WOA搜出的参数作为贝叶斯框架的初始值，再做几步迭代。因为WOA已经接近全局最优，贝叶斯在这个邻域内的局部建模可以进一步压低误差。不过这个组合只在样本量中等（几千到几万）时值得做，样本太少时贝叶斯迭代容易过拟合。

从那以后，我每次用WOA调完LSSVM，都会强制走一遍“归一化→交叉验证→ROC确认”的流程。优化器给出的误差再低，也要用ROC曲线验证一遍，否则可能被单个指标的偶然性带偏。这个习惯帮我避开了好几次数据泄漏和类别不平衡的陷阱，希望帮到你。

本文还有配套的精品资源，点击获取