基于SSA与PSO优化GRNN平滑因子的多输入回归实战

最近在做一组多输入回归预测实验，数据大概十几列特征、几百个样本，精度卡在瓶颈上不来。换了几种常规模型之后，我把注意力转向了GRNN，即广义回归神经网络。这个网络结构简单、参数极少，理论上调好一个平滑因子就能出活，但问题恰恰出在这里——那个关键的平滑因子对结果的影响极其敏感，手调非常靠运气。于是我把麻雀搜索算法SSA和粒子群优化PSO拉进来，让它们自动去搜索最优参数，分别做了一轮完整的调优实验。这篇就记录一下我踩过的坑和最终跑通的一套流程：为什么选GRNN、SSA和PSO怎么跟它配合、多输入任务里哪些细节容易翻车、以及一份你照着做就能复现的思路。

1. 为什么选GRNN：一个容易被低估的回归利器

1.1 GRNN到底是怎么工作的

GRNN全称General Regression Neural Network，1991年由Specht提出来。它的思想本质上不是"学习权重"，而是用核密度估计直接逼近条件期望。换句话说，预测一个输入向量对应的输出时，GRNN不是靠训练出来的连接权值去算，而是拿这个输入和历史上所有训练样本做相似度加权，然后取输出的加权平均。

网络结构上分四层：输入层、模式层、求和层、输出层。模式层每个神经元对应一个训练样本，存的是这个样本的特征向量。预测新样本时，模式层计算新样本和每个训练样本的欧式距离，再用一个高斯核函数转成相似度权重。求和层分子算权重和真实输出的加权和，分母算权重之和，输出层做个除法就得到了预测值。

这套机制带来了几个天然优点：

• 不需要反向传播迭代训练，不存在BP神经网络的梯度消失、局部极小这些老大难。
• 对非线性关系的拟合能力很强，本质上是一个非参数回归器。
• 唯一需要人为确定的超参数就是高斯核的宽度σ，也就是常说的平滑因子。

所以它非常适合那种"特征多、样本量中等、关系复杂说不清楚"的多输入回归任务。

1.2 平滑因子：GRNN的灵魂也是命门

GRNN只有σ这一个旋钮，可这个旋钮的拧法直接决定了模型是过拟合、欠拟合还是恰到好处。

σ太小的时候，高斯核的形状非常尖，预测完全跟着最近的那几个训练样本走，测试集上稍微偏离一点就剧烈波动。我拿一组500个样本的数据试过，σ取到0.01，训练集上R²几乎等于1，测试集R²直接跌到0.4以下，典型的教科书式过拟合。

σ太大的时候情况反过来，每个样本的核宽度都很大，权重趋近于均匀分布，预测值无限逼近训练集输出的均值，等于你辛辛苦苦建了个模型，最后却告诉你说"预测等于平均值"。这种情况下测试集R²可能连0.1都不到。

问题在于σ的合适区间跟特征维数、样本密度、数据尺度强相关，没有现成公式能直接算出来。手动试的话，0.7和0.9可能差得不大，但1.2和1.5之间可能隔着一道鸿沟。这种情况下最自然的选择就是让优化算法去搜索。

1.3 跟BP和SVR比，GRNN的取舍在哪里

我也试过BP神经网络和SVR做同一组数据对比。BP的调参复杂性不用多说了，隐层数、节点数、学习率、激活函数、正则化系数，随便一个都能让结果差一个档次。SVR则有核函数、惩罚系数C、不敏感系数epsilon要调，本质上也是多参数优化问题。

GRNN的优势在于把"多参数调优"压缩成了"单参数调优"，优化难度小了一个维度。代价是当样本量很大时，预测阶段每个新样本都要跟全部训练样本算一遍距离，时间复杂度是O(N)，N到几万时响应明显变慢。所以GRNN适合N在几百到几千这个量级，再大就要考虑聚类压缩或换模型了。

2. 优化工具箱：SSA与PSO的选型思路

2.1 粒子群优化：经典方案没那么过时

粒子群优化（PSO）是Eberhart和Kennedy在1995年提出的，灵感来自鸟群觅食。核心逻辑很简单：一群粒子在解空间里飞，每个粒子知道自己历史最优位置，也知道整个群体的当前最优位置，每次迭代都根据这两条信息调整飞行速度。

速度更新公式是：

v = w*v + c1*r1*(pbest - x) + c2*r2*(gbest - x) x = x + v

其中w是惯性权重，控制对上一代速度的保持程度；c1和c2是学习因子，分别控制对自身历史最佳和群体最佳的信任程度；r1、r2是[0,1]随机数。

PSO在工程里用得非常广，原因就三个：实现简单、收敛速度快、参数相对好理解。但它的毛病也很明显——当问题是多峰函数时，粒子一旦被某个局部最优吸引，群体就容易扎堆，后续更新近乎停滞，这在实际调参里特别常见。后面我会单独讲怎么识别和处理这种早熟。

2.2 麻雀搜索算法：发现者、加入者的角色分工

SSA是2020年才提出的群智能优化算法，模拟麻雀的觅食和反捕食行为。它最核心的亮点是把种群分成了三种角色，各干各的事：

• 发现者：负责全局搜索，能量高的麻雀优先找食物。位置更新时按指数衰减的步长向外探索，如果遇到危险，就往安全区域重新聚合。
• 加入者：跟随发现者找食，但也会时刻观察谁的位置好，一旦发现有麻雀占了好位置，立刻飞过去抢食。所以加入者的更新逻辑里带着向种群最优位置逼近的趋势。
• 警戒者：始终盯着周围的风险，如果感知到危险信号，不管自己当前食物好坏，都会立刻往安全区域移动。这个机制的作用是让整个种群跳出局部最优。

从公式上看，发现者更新表达式里含随机数和阈值判断，加入者更新会引入种群最优位置做牵引，警戒者更新则会在极端情况下做跳跃性移动。三者的比例由发现者比例PD和警戒者比例SD两个参数控制。

跟PSO对比，SSA的优势在于角色分工带来的探索和开发平衡性：发现者广撒网，加入者快速向优解靠拢，警戒者负责打破僵局。在多峰、非凸的搜索空间里，SSA比PSO更容易挣扎出局部最优的泥潭。缺点也很直接，需要调节的参数比PSO多，迭代轮数相同时整体收敛速度往往慢。

2.3 为什么两个都做，而不是只挑一个

单做PSO-GRNN或单做SSA-GRNN都能出结果，但我在这轮实验里两个都跑了，原因有三：

第一，公平对比才有说服力。同一种数据、同一个适应度函数，PSO和SSA分别搜出来的σ经常不一样，最终模型精度也不同。用两张收敛曲线和一张指标表说话，比拍着胸脯说"我的方法好"要硬气得多。

第二，不同任务对优化器的偏好确实不一样。有的数据搜索面比较平滑，PSO一脚油门踩到底就找到了好解；有的数据适应度面坑坑洼洼，SSA那种带警戒机制的搜索方式明显更抗跌。你不在自己的数据上跑一轮，根本猜不到谁是赢家。

第三，从"探索"项目的角度讲，两种算法跑通后，未来想混合它们就很容易——比如先用PSO快速收敛到有希望的盆地，再用SSA做精细搜索。基础实现都写好了，后面做加法就顺手。

3. 多输入回归任务的技术准备：数据这关不过，后面全白搭

3.1 归一化不是可选项，是必选项

GRNN计算样本间距离靠的是范式距离，那么量纲问题就直接影响核函数的输出。假设第一列特征的范围是0到1，第二列的范围是500到5000，距离计算会被第二列完全主导，第一列的信息等于被淹没了。这是GRNN对输入非常敏感的地方，多输入场景尤其严重。

我在这轮实验中把每个特征都归一化到[0,1]区间，用的就是最经典的min-max公式：

x_norm = (x - x_min) / (x_max - x_min)

归一化因子要基于训练集计算，然后把同一组min和max应用到测试集上，而不是对全部数据一起归一化。如果不小心把测试集信息混进来，那你的交叉验证评估就带了数据泄漏，结果虚高得毫无意义。

预测完成后如果想还原输出到原始量纲，记得保存y的min和max，做一遍逆变换。

3.2 特征也不是越多越好

GRNN对冗余特征其实没有天然的筛选能力。如果输入里有几列强相关的噪声特征，它们会以同等权重参与距离计算，实际效果就是拉大了样本间的距离，削弱了有效特征的相似度信号。

我习惯在建模前先算一下特征与输出的皮尔逊相关系数，同时看特征之间的相关矩阵。相关性高于0.95的冗余特征，保留与输出相关系数更高的那一列就行。特征数从十几列降到七八列之后，GRNN的精度往往不降反升，而且优化算法的搜索空间维度不变，收敛压力会小很多。

3.3 划分与交叉验证：给适应度函数一个不偏不倚的评估

多输入回归实验最忌讳的是一刀切划分后拿单一验证集结果当评价标准。如果你运气不好，划分出的测试集恰好落在了一个容易预测的区间，那么任何优化算法搜出来的σ都显得很好看，换了随机种子就原形毕露。

我的做法是：先把总体样本按约80/20划分为训练集和测试集，测试集从头到尾不参与优化；优化阶段对训练集做5折交叉验证，把每折验证集上的误差取平均作为适应度值。最后一轮用筛出来的最优σ在整个训练集上重新训练GRNN，再在测试集上做一遍终测。

这样适应度函数反映的是模型在不同数据子集上的稳定表现，而不是某个特定子集的运气。代价是算法每评估一次参数就要训5次GRNN，但这笔计算花得值。

4. 完整实操：SSA与PSO调GRNN的每个细节

4.1 算法整体流程：一个9步的标准管道

我这里贴一下实验跑的完整流程，之后你往任何项目里套都可以：

1. 读入数据，做特征筛选和min-max归一化，划分训练集/测试集。
2. 初始化优化算法种群。每个个体是一个一维向量，取值对应一个σ。
3. 将σ从搜索区间映射到GRNN，用训练集做5折交叉验证，计算平均绝对误差MAE。
4. 以MAE的相反数为适应度，评估种群所有个体。
5. 按PSO或SSA的更新规则，生成下一代种群。
6. 记录当前全局最优σ和对应的适应度。
7. 判断迭代条件是否满足，不满足则回到第3步。
8. 用全局最优σ在整个训练集上重新训练GRNN。
9. 对测试集做预测，计算RMSE、MAE、R²等最终指标。

注意，因为GRNN只需要调σ这一个超参数，所以优化算法的搜索维度是1。虽然维度极低，但搜索的是非线性、多峰的适应度面，依然需要SSA和PSO这类全局优化算法来兜底。

4.2 适应度函数：MAE和RMSE怎么选

适应度函数的选择是个容易被忽略的细节。MAE对离群点不敏感，强调的是整体误差的稳健性；RMSE对大的偏差惩罚更重，如果你特别在意极端情况下的预测精度，RMSE更合适。

这一轮我选的是MAE，因为实际业务场景中，整体平均偏差是用户能直接感知的指标，个别点抖动过大的影响可以通过后续的数据清洗去缓解。代码层面很简单：

def fitness(sigma, X_train, y_train, k=5): # 返回交叉验证平均MAE，做最小化 maes = [] for train_idx, val_idx in KFold(k).split(X_train): X_tr, X_val = X_train[train_idx], X_train[val_idx] y_tr, y_val = y_train[train_idx], y_train[val_idx] y_pred = grnn_predict(X_tr, y_tr, X_val, sigma) maes.append(np.mean(np.abs(y_val - y_pred))) return np.mean(maes)

搜索过程中优化算法是比较适应度值的，谁小谁优。你不需要在适应度函数里做任何惩罚项处理，因为σ本身就限制了核宽度的尺度，不太会出现离谱的大数。

4.3 SSA参数怎么定：角色比例与搜索区间

SSA有四个关键设置：种群规模N、发现者比例PD、警戒者比例SD、最大迭代次数T。

我的经验值是这样：

• 种群规模N取30。少于20容易搜索不充分，多于50只是增加计算量，优化效果提升不明显。
• PD取0.2，SD取0.1到0.2。PD太低全局搜索没人买单，PD太高则种群容易被发现者带跑偏。SD取0.2，既保证警戒机制发挥作用，又不会频繁打乱正常收敛。
• 最大迭代次数取50。对一维搜索来说，50代已经是宽裕配置。如果之后做特征维度的联合优化，建议升到100代。

搜索区间这一点我必须多说一句。σ的合适范围经常横跨好几个数量级，从0.01到10都可能是合理的。直接在这样宽的范围里做线性搜索效率不高。我用的是对数空间映射：优化算法搜的是一个[-2, 1]范围内的实数位置u，实际σ = 10的u次方。这样做的好处是u每变化0.1，σ按比例变化而不是按绝对值变化，算法在低σ区间也有足够的搜索精度。

4.4 PSO参数怎么定：惯性权重从大到小

PSO这边参数就四个：学习因子c1、c2、惯性权重w、最大迭代次数。

• c1 = c2 = 1.5，这是PSO文献里最经典的中庸值，个体经验和群体经验的拉力均衡。
• w从0.9线性递减到0.4。早期w大，粒子速度快，空间探索充分；后期w小，速度收敛，做精细开发。如果你的PSO实测早熟，可以把w下限改到0.5，或者加一点随机扰动。
• 种群规模同样取30，迭代次数50。

还有个隐蔽的坑：速度限制。不设Vmax时，粒子单步位移可能横跨整个搜索区间，导致震荡不收敛。我把Vmax设为搜索区间宽度的20%，实测效果很稳。

4.5 实验数据与结果整理：一张表看清两种优化器的差距

我在实验里构造了一个相对标准的测试条件：8个输入特征、500个样本、目标值与其中5个特征呈非线性关系、另加两组噪声特征干扰。数据做特征粗筛后删掉两组明显冗余特征，最终输入维度6。训练/测试比为80/20，优化阶段的交叉验证折数k=5。

三种方案的结果对比大致如下：

差异非常直观。手工把σ调到0.8时，核宽度偏大，预测整体趋向均值，R²只有0.6左右。PSO收敛后把σ压到了0.2附近，明显找到了一个拟合紧实的区间。SSA进一步下探到0.17附近，在这个数据上取得了最低的MAE和最高的R²。

从收敛曲线看，PSO前期降得快，前5代就冲到一个还不错的位置，但后期几乎平走；SSA前10代下降没PSO猛，但20代后还在缓慢挪动，最终能摸到略优于PSO的点。这跟两种算法在机制上的特点完全对得上：PSO全局收敛果断，SSA中期探索更韧。

5. 调参路上踩过的坑：每一个都是真金白银换来的

5.1 收敛曲线降完了，最优解反而丢了

第一轮做PSO实验时，我犯了个经典错误：只在迭代结束后记录最后一代的最优适应度，没在每一代同步保存历史全局最优。结果迭代到40代的时候曲线略有反弹，最后一代的适应度反而比中间某代差，辛苦搜出来的好σ就这么被覆盖了。

这个问题的解法特别简单，但必须写进代码里：每代评估完就立即比较历史全局最优，单独用一个变量锁存。最后拿出的是整个搜索过程中的最优点，而不是最后一代的点。对SSA也一样，警戒机制可能带来短暂波动，锁存历史最优就稳妥了。

5.2 PSO怎么判断是否早熟，以及怎么救

早熟在PSO里几乎是个幽灵，你根本不知道它什么时候出现，但结果往往突然就僵住了。判断方法很简单：把每个粒子的速度在每个迭代记录一下均值，如果迭代过半时所有粒子的平均速度趋近于0，但适应度还停在某个局部区域下不去，那就是早熟。

我遇到过最典型的场景是：搜索区间里有个局部极小点，PSO粒子三下五除二全冲进去了，之后c1r1(pbest-x)和c2r2(gbest-x)两项都变成很小的值，位置不再更新。

救法有两个。一个是在速度更新后，以一定的概率给粒子施加随机扰动，相当于小幅变异，让粒子有机会飞出局部极小。另一个是反向学习策略——初始化的时候，先把粒子均匀撒开，同时额外生成每个粒子的反向位置，相当于把整个区间覆盖了一倍，降低一开始扎堆的概率。

5.3 样本量一大，GRNN在优化阶段就被拖垮

GRNN预测是O(N)，N=500的时候完全无感，但一旦样本量到3000以上，一次适应度评估要做5折交叉验证，每折又得建预测几千次距离，整个优化过程会变得非常痛苦。我有一组8000样本的数据，单是SSA跑50代就花了将近半小时。

遇到这种情况，两个土办法非常管用：

• 先粗后精：先用50%的随机子集做优化搜索，确定σ的大致区间，再用全量样本在缩小的区间里做精细搜索。这样精度损耗很小，时间省一大半。
• 限制评估次数：把交叉验证折数从5降到3，适应度函数的方差稍微大一点，但搜索曲线依然能找到合理的区域。

5.4 离群点：GRNN唯一防不住的暗箭

前面说GRNN预测是加权平均，这个机制让它天然地受高杠杆点影响。一个y值离谱的样本，如果它所在的特征区域还有别的正常样本，权重会被稀释；但如果它恰好孤悬在一个角落，它的权重在预测那片区域时就是绝对统治级，预测结果直接被打穿。

所以在做多输入回归之前，一定要把离群样本洗一遍。我用的方式是对每个样本的y做局部异常因子检测，或者非常简单粗暴地删除y偏离均值3倍标准差的样本。这一步做完再跑优化，适应度曲线会明显平滑很多。

5.5 想要的不只是单点预测？GRNN可以给区间

GRNN本质上给的是条件期望，如果你还想知道预测的不确定性，可以把输出层改成同时输出分子分母的量，再算一下预测分布的方差。高斯核天然能构造出基于样本密度的预测区间，这在工程上是很有价值的一点：预测值给个区间，客户那边更容易接受。

不过这个方向需要额外做密度估计，复杂度会上升，建议先把基础回归跑稳了再扩展。

6. 可复现的代码骨架与后续可以做的改进

6.1 Python版核心代码参考

GRNN在Python生态里没有MATLAB那么集约化的工具箱，最省事的做法是自己实现预测核心，再套一层SSA和PSO。预测代码我简化如下：

import numpy as np def grnn_predict(X_train, y_train, X_test, sigma): y_pred = np.zeros(X_test.shape[0]) for i in range(X_test.shape[0]): # 计算与所有训练样本的欧氏距离平方 d2 = np.sum((X_train - X_test[i]) ** 2, axis=1) # 高斯核权重 w = np.exp(-d2 / (2 * sigma ** 2)) # 加权平均 y_pred[i] = np.sum(w * y_train) / (np.sum(w) + 1e-12) return y_pred

SSA的种群更新主循环可以参考这个骨架：

def ssa_optimize(fitness_func, bounds, N=30, PD=0.2, SD=0.2, T=50): dim = bounds.shape[0] # 初始化位置：bounded uniform X = np.random.uniform(bounds[:, 0], bounds[:, 1], (N, dim)) fit = np.array([fitness_func(ind) for ind in X]) best_idx = np.argmin(fit) best_x, best_f = X[best_idx].copy(), fit[best_idx] for t in range(T): R2 = np.random.rand() sorted_idx = np.argsort(fit) # 发现者更新 for i in sorted_idx[:int(PD * N)]: if R2 < 0.8: X[i] = X[i] * np.exp(-i / (0.1 * T)) else: X[i] = X[i] + np.random.randn(dim) * 0.1 # 加入者更新（简写） # 警戒者更新（简写） X = np.clip(X, bounds[:, 0], bounds[:, 1]) fit = np.array([fitness_func(ind) for ind in X]) # 锁存全局最优 if np.min(fit) < best_f: best_f, best_x = np.min(fit), X[np.argmin(fit)].copy() return best_x, best_f

这个骨架里我把加入者和警戒者的更新省略了，实际实现时按原文公式补上即可。核心思想是让发现者全局搜索、加入者朝全局最优靠拢、警戒者随机跳跃，三个角色协同，这套机制就能跑起来。

PSO的代码更简单，不需要分类角色，直接按速度-位置公式迭代即可。两份代码都跑通之后，结果对比就是一张表格的事。

6.2 后续值得做的三个改进方向

第一个方向是多平滑因子。当前GRNN所有特征共用同一个σ，这在特征尺度差异大的时候不够精细。可以把σ扩展成一个与特征维度等长的向量，让优化算法在更高维空间里联合搜索。代价是搜索难度上升，但精度提升空间很大。

第二个方向是PSO+SSA混合策略。我的实测是PSO前期收敛快但容易困在局部，SSA后期细致但前期稍慢。可以把两种算法的搜索阶段串联起来：先用PSO快速压到有希望的盆地，再用SSA做精细搜索。这个想法我在一组噪声较强的数据上测试过，比单独用两者都稳定。

第三个方向是把适应度函数从MAE扩展到MAE+预测稳定性的多目标优化。不是每个业务场景都只看平均误差，有时波动性比平均偏差更重要。那时候可以把σ的搜索变成双目标问题，用多目标SSA或NSGA-II来做Pareto前沿，挑选合适的妥协点。

6.3 多说一句项目收尾的体会

做完这轮SSA与PSO优化GRNN的实验，我最大的感触是，优化算法本身并不神秘，密码藏在对问题特点的理解里。GRNN这个结构看似简单到只有一层核函数，但恰恰因为参数少，它才能把整个项目的核心矛盾集中在一个点上：如何搜到合适的σ。SSA和PSO只是把这个搜索过程自动化了，真正让结果变好的，是对归一化、交叉验证、离群点处理这些细节的死磕。

下次遇到预测模型不达标的数据，我也会建议你先别急着上深度学习。先把数据的量纲、冗余特征和异常点清洗干净，再用一个单参数模型配上合适的优化算法跑一轮。很多时候你以为的模型能力上限，其实只是参数适配做得不够充分。