Relief特征选择算法解析与MATLAB实现实战指南

简介：一套基于MATLAB实现的Relief特征选择算法工具包，面向机器学习、数据挖掘及生物信息学等领域，用于从高维数据中筛选有效特征，提升模型效率。Relief算法通过随机选取查询实例，比较其与同类近邻和异类近邻在特征上的差异，为每个特征赋予权重，最终按权重排序选出重要特征子集。压缩包共19个文件，以m源代码为核心，涵盖主程序、权重计算、标准化等模块，并配有mat数据文件、xls示例数据、fig可视化图表及txt说明文档，整体大小约1.32MB。该资源已有734人学习使用，适合希望快速掌握Relief算法原理与MATLAB实现的开发者参考。通过运行自带数据，可清晰理解近邻差异计算、权重更新与特征排序的完整流程；附带的胃癌样本数据和特征排序结果也有助于验证算法效果，为后续特征工程或模型优化提供实践基础。

1. Relief特征选择到底是什么：一个让特征权重自己说话的算法

我处理过不少这样的数据：样本量几百、特征几十上百个，直接丢进分类器，结果像个黑匣子——精度忽高忽低，换成别的模型立马变脸。Relief特征选择就是在这种场景下被我想起来的：它不用训练任何模型，只靠“同类样本近、异类样本远”这个朴素标准，给每个特征算一个权重，让你在十分钟内知道该留谁、该扔谁。Relief算法虽然是上世纪九十年代初提出的老方法，放在MATLAB里跑通核心逻辑只需要几十行代码。对准备做特征工程之特征选择、又不想引入复杂依赖的人来说，这几乎是上手成本最低的一条路。

它解决的痛点很直接：特征太多导致过拟合、模型解释性差、训练时间被无效维度拖慢。Relief算法属于过滤式特征选择，在建模之前就把特征筛一遍。适合两类人：一类是建模前需要快速粗筛的工程师，另一类是刚接触特征选择、想把原理看明白的学生。后面的内容我会从算法原理讲到MATLAB手写实现，再讲到多分类扩展和排坑经验，照着抄就能跑。

2. Relief算法为什么管用：近邻比对的权重更新逻辑

2.1 从“同类近、异类远”说起：Relief的三要素

Relief算法的出发点很简单：一个特征如果真有判别力，那么在它的取值空间里，样本分布应该是有规律的。具体来说，任意挑一个参考样本R，在全部样本里找它的最近邻：一个同类最近邻H，一个异类最近邻M。如果某个特征上R和M的距离大，说明这个特征能把两个类别拉开，是有用的；如果某个特征上R和H的距离也很大，说明同一个类别内部在这个特征上也不稳定，它对分类反而起干扰作用。

这里的三要素是参考样本R、同类最近邻H、异类最近邻M。算法循环很多次，每次随机抽一个R，计算这三个样本在各特征上的差异，然后更新特征的权重。整个过程不需要训练分类器，不需要假设数据分布。权重结果直接反映“这个特征对区分类别有多大的边际贡献”。

它的计算复杂度不高。每轮迭代的核心操作是算距离、找最近邻，总复杂度大约O(T·n·m)，T是迭代次数，n是样本数，m是特征数。样本量几千以内，MATLAB跑起来都是秒级。如果n上了几万，建议改用分批近邻搜索，这个后面细说。

2.2 权重更新公式拆解：作恶特征被罚，行善特征被奖

权重更新是算法的核心。假设第t轮抽到参考样本R，找到同类最近邻H和异类最近邻M，那么对第j个特征，权重更新可以写成：

W(j) = W(j) - diff(R, H, j) / T + diff(R, M, j) / T

其中diff表示两个样本在特征j上的归一化差异。对连续特征，diff = |R(j) - H(j)|，前提是特征已经做了min-max归一化；对离散特征，diff = 0或1，取值不同就是1，相同就是0。分母上的T是总的迭代次数，每轮贡献被摊薄到±1/T，最终权重落在一个大致[-1, 1]的区间内。

拆开看这句话：减号那一项在做什么？如果某个特征在同类最近邻之间跳变很大，说明这个特征内部噪声大，把同类样本分开，权重被扣分。加号那一项在做什么？如果某个特征在异类最近邻之间差异大，说明它能拉开两类样本，权重被加分。最终跑完T轮，每个特征的得分就是它对分类的“净贡献”。

这个公式里最容易忽略的是归一化。diff用的是绝对差，如果特征取值范围不同，量纲大的特征在数值上天然占优。所以几乎所有Relief的实现都要求输入矩阵提前做min-max归一化。我在后面第5章会专门讲这个坑。

2.3 为什么用MATLAB而不是Python来做这件事

做特征选择，Python里sklearn也有ReliefF的实现，但MATLAB在这件事上有自己的优势。第一是矩阵化操作，MATLAB对向量化的sum、min、sort操作支持得很顺手，几十行代码就能把核心逻辑写明白，中间变量看得一清二楚。第二是统计工具箱里自带relieff函数，如果只是想要结果，一行调用就行；想看懂原理，手写一份也不难。第三是可视化方便，权重排序直接bar画图，配合gscatter看特征分布，调试体验比Python里来回切matplotlib要顺。

我一般会在两种情况下优先选MATLAB：一是数据已经存在.mat文件里，二是后续建模打算用MATLAB的分类器。如果项目整套流程在Python里，那直接用sklearn的ReliefF实现也没问题。工具不重要，重要的是把算法逻辑吃透，换语言只是换个语法外壳。

3. 从零手写MATLAB版Relief：可分步复现的核心代码

3.1 数据准备：把表格转成算法吃的样子

Relief的输入就两个东西：特征矩阵X和标签向量y。X是n行m列，每一行是一个样本，每一列是一个特征；y是n行1列的二分类标签。标签建议统一成0和1，方便做逻辑索引。实际项目里的原始数据通常有缺失值、有字符串列、有量纲差异大的列，在进Relief之前要清理一遍。

% 清理：删除全缺失列，其余缺失行直接删掉 data = rmmissing(data); % 删除含NaN的行 X0 = data(:, 1:end-1); % 特征列，假设最后一列是标签 y0 = data(:, end); % 标签列 y0 = double(y0 == max(y0)); % 转成 0/1，正类设为1 % 只取出你需要的那几列，比如第2、5、9列 X_sub = X0(:, [2 5 9]);

这段代码里，rmmissing是R2018b以后才有的函数，老版本可以用data(~any(isnan(data), 2), :)替代。X0(:, [2 5 9])这种多列索引是MATLAB的基础操作，在“matlab数组+取出多列”这个需求里很常用。y0 = double(y0 == max(y0))这行是把标签转成0/1，思路是比较每个元素是否等于最大值，转成double后正类是1、负类是0。

数据清理完之后，下一步是归一化。注意顺序：先清理、再归一化、最后进Relief。归一化必须在找近邻之前做，因为最近邻是基于欧氏距离选的，量纲不同的特征会在距离计算里喧宾夺主。

X_min = min(X0); X_range = max(X0) - X_min; X_range(X_range == 0) = eps; % 常值列保护，避免NaN X = (X0 - X_min) ./ X_range;

这里把常值列的分母替换成eps，是为了防止max和min相等时出现0除。常值特征本身没有判别力，归一化后全为0，Relief算出来的权重也会接近0，不影响其他特征的结果。

3.2 核心函数relief.m：权重累积就在这几行

Relief的核心函数不长，我把注释写详细一点，方便对照公式理解。这个函数不依赖任何工具箱，用randi做随机抽样，用隐式扩展算距离，R2016b之后的版本都能跑。

function W = relief(X, y, T) % RELIEF 二分类Relief特征选择 % X: n×m 数值矩阵，已做min-max归一化 % y: n×1 标签，取值为0或1 % T: 迭代次数，一般取50~200 [n, m] = size(X); W = zeros(1, m); % 每个特征的权重 for t = 1:T ri = randi(n); % 随机抽一个参考样本R R = X(ri, :); labR = y(ri); idxSame = find(y == labR); % 同类索引 idxDiff = find(y ~= labR); % 异类索引 idxSame(idxSame == ri) = []; % 去掉R自己 if isempty(idxSame) || isempty(idxDiff) continue; % 某一类只有R一个样本，跳过这轮 end % 欧氏距离平方找最近邻 dH = sum((X(idxSame, :) - R).^2, 2); dM = sum((X(idxDiff, :) - R).^2, 2); [~, hi] = min(dH); [~, mi] = min(dM); H = X(idxSame(hi), :); M = X(idxDiff(mi), :); % 同类近则罚，异类近则奖 W = W - abs(R - H) / T + abs(R - M) / T; end end

逻辑说明：每一轮先随机抽取一个参考样本R，然后在同类集合里找离R最近的样本H，在异类集合里找离R最近的样本M。R与H的距离反映特征在同类里的稳定性，R与M的距离反映特征在不同类之间的区分度。abs(R - H)是逐特征的绝对差，因为X已经归一化到[0,1]，绝对差直接就是归一化差异，不再需要除以特征范围。

参数说明：T是迭代次数，T越大权重越稳定，但计算时间线性增长。样本量n小于200时T取100足够，n在1000左右时T取200到300更稳。函数内部用randi(n)做有放回抽样，所以每次运行结果会有随机性，主脚本里要先用rng固定种子。距离计算用的是欧氏距离平方，找最近邻时min取最小距离对应的下标，如果要换成K近邻，把min改成sort再取前k个即可。

3.3 主脚本调用与权重可视化：30秒看到哪个特征说话

写一个演示脚本，生成一份模拟数据：12个特征，只有第2、5、9列真正和标签相关，其余都是噪声。跑完Relief后画权重条形图，验证算法能不能把这三个特征找出来。

rng(42); % 固定种子，结果可复现 n = 200; m = 12; X0 = randn(n, m); % 12维高斯噪声 % 只有第2、5、9列影响标签，加一点噪声 score = sum(X0(:, [2 5 9]), 2) + 0.5 * randn(n, 1); y0 = double(score > 0); % 转成0/1标签 % min-max归一化 X_min = min(X0); X_range = max(X0) - X_min; X_range(X_range == 0) = eps; X = (X0 - X_min) ./ X_range; % 跑Relief W = relief(X, y0, 200); % 排序和可视化 [Wsorted, idx] = sort(W, 'descend'); bar(W); xlabel('特征编号'); ylabel('Relief权重');

跑完之后看idx的前几位。正常情况下第2、5、9列会排在前三名，权重明显高于其他噪声特征。如果用了不同的随机种子或者T太小，偶尔会出现噪声特征挤进前三的情况，这是抽样随机性导致的，不是算法错了，加大T就能缓解。

bar(W)画出来的图里，正权重的柱子是“对分类有贡献”的特征，负权重和接近0的柱子可以直接淘汰。真实数据里不建议机械地按权重大小直接截断，更合理的做法是把权重排序后，从最大值往下累加，累加到总权重绝对值70%~90%的位置作为截断点，或者干脆只保留正权重特征。

4. 从Relief到ReliefF：多分类、回归与三个必调参数

4.1 ReliefF在做什么：k近邻与按类先验加权

原始Relief只能处理二分类，而且每轮只找一个同类最近邻和一个异类最近邻，对噪声敏感。ReliefF是它的升级版，做了两处关键改动。

第一处改动是把“单个近邻”换成“k个近邻”。每一轮找k个同类近邻和k个异类近邻，权重更新时求平均。这样单个离群点对权重的影响被摊薄了，稳定性明显提升。

第二处改动是处理多分类。当类别数大于2时，每轮的“异类”不再是一个类，而是除了R所在类别以外的所有类。算法对每个异类类别都找k个近邻，按该类的先验概率加权。权重更新的思想是：特征如果能把R和“任何一个其他类”拉开，它就有贡献；但贡献大小要考虑这个类出现的概率，样本多的类权重影响更大。

MATLAB统计工具箱里内置了relieff(X, y, k)函数，直接传入特征矩阵、标签和近邻数就能用，多分类和回归都支持。但内置函数的迭代细节是个黑匣子，不方便调。自己手写一份ReliefF，改动并不大，后面3.3里给出改造方案。

4.2 三个必调参数：迭代次数T、近邻数k、归一化开关

手写版ReliefF有三个参数需要关注，我用表格列一下推荐值和影响：

T和样本量n的关系值得多说一句：n只有几十的时候，T取100就够了，因为样本空间小，反复抽到的样本很快覆盖全体；n上千时，T要取200以上，否则很多样本可能没被抽到。k的取值一般取5到10，类别本身很小的极端情况下，k要小于少数类的样本数，否则近邻会跨到别的类里去。

归一化这个开关在MATLAB自带函数里是默认做的，但手写版里必须自己记得做。我见过不止一次：数据从Excel拷出来，年龄、收入、消费次数混在一起直接喂进Relief，结果收入这个特征的权重碾压全场，其他特征全部接近0。这不是算法失效，是没做归一化。

4.3 手写版relieff.m：只改三处循环逻辑

基于第3章的relief函数，把单近邻改成k近邻，把异类搜索改成遍历所有非当前类，就能得到ReliefF。

function W = relieff2(X, y, T, k) % RELIEFF2 多分类ReliefF近似实现 % X: n×m 已归一化特征矩阵 % y: n×1 标签，取值为1,2,...,C % T: 迭代次数 % k: 近邻个数 classes = unique(y); [n, m] = size(X); W = zeros(1, m); for t = 1:T ri = randi(n); R = X(ri, :); labR = y(ri); % 同类k近邻 idxSame = find(y == labR); idxSame(idxSame == ri) = []; dH = sum((X(idxSame, :) - R).^2, 2); [~, oH] = sort(dH); nH = min(k, length(oH)); Hs = X(idxSame(oH(1:nH)), :); W = W - sum(abs(R - Hs), 1) / (T * nH); % 遍历所有异类 for c = classes' if c == labR continue; end idxDiff = find(y == c); dM = sum((X(idxDiff, :) - R).^2, 2); [~, oM] = sort(dM); nM = min(k, length(oM)); Ms = X(idxDiff(oM(1:nM)), :); W = W + sum(abs(R - Ms), 1) / (T * nM); end end end

逻辑说明：每一轮对同类找k个最近邻，累减它们的平均diff；对每一个异类类别分别找k个最近邻，累加它们的平均diff。这里没有按类先验概率加权，是一个简化版本。在类别均衡的数据集上，这个简化版的排序结果和内置relieff基本一致；类别极不均衡时，内置版会更好一些，因为它对每个异类按P(C)/(1-P(class(R)))加权。

参数说明：k近邻的距离排序用了sort，取前k个下标。min(k, length(oM))这个保护很重要，如果一个类别只有4个样本，而你设了k=10，不截断的话索引就越界了。内置relieff函数遇到这种情况也是自动截断的，手写版必须自己处理。

如果需要处理回归问题，思路是把标签y换成实数，近邻不再按同类异类划分，而是把“样本间y差异大”的近邻当作异类近邻，差异小的当作同类近邻。这个改动相对复杂，实际项目里建议直接用内置relieff的回归模式，手写版主要用在学习场景。

5. Relief特征选择的避坑记录：5个容易翻车的细节

5.1 中文注释乱码：2023b写的脚本换台机器就花屏

现象：在MATLAB 2023b上写的.m文件，含中文注释，拷贝到2022b或者更老版本打开，中文全部变成乱码，严重的时候重新保存会把文件搞坏。

原因：新版MATLAB默认以UTF-8编码保存.m文件，旧版本（2022b及以前）在中文Windows上默认是GBK编码。编码不匹配，打开时按GBK去解析UTF-8的字节流，中文自然显示成乱码。反过来，旧版写的GBK文件拿到新版打开也会出问题。

解决：最简单粗暴的办法是不在代码里写中文注释，全部用英文。如果团队里必须用中文注释，约定所有人统一用同一版本MATLAB（比如都用2023b或2026b），并且统一把文件保存为UTF-8。已经乱码的文件，用VS Code或Notepad++强制转码再打开，是一个临时补救手段，但治标不治本。

5.2 量纲没统一：大数值特征把权重全部带偏

现象：特征矩阵里有一个“用户累计消费金额”列，范围在几千到几万；其他特征范围都在0到1之间。跑完Relief，消费金额的特征权重巨大，其他特征全部趋近于0。如果把那个特征直接删掉，剩余的权重排序才看起来合理。

原因：两层问题叠加。第一层是权重更新公式里的abs(R - H)直接算绝对差，量纲大的特征天然得分高，这是表象。第二层更隐蔽：Relief找最近邻用的距离是欧氏距离，量纲大的特征在距离计算中占了绝对主导，导致找出来的最近邻实际上只参照了这一个特征。即便你把权重公式里的diff改成归一化差异，近邻还是按原距离选的，这个问题依然存在。

解决：必须在进Relief之前做min-max归一化。顺序不能乱：先归一化，再算距离，再更新权重。如果某些特征本身服从长尾分布，可以先做log1p变换再归一化，效果更好。

5.3 随机种子没固定：两次结果不一样

现象：同一份数据、同一套参数，上午跑一次和下午跑一次，出来的权重排序差了好几位，有时候连前三名都不一样。

原因：Relief的每次迭代都随机抽样参考样本R。如果T设得比较小，比如50以下，抽样随机性对权重的影响会非常明显。这会让使用者对结果失去信任，以为是算法不稳定。

解决：脚本开头加一行rng(42)固定全局随机种子。注意rng(42)要在调用relief之前执行，而且要确认没有其他函数在中间调用了rng('shuffle')。如果固定种子后结果稳定了，说明算法本身没问题；如果固定了种子还是不稳定，先把T调大再说。

5.4 常值特征让权重变成NaN

现象：数据里有一列所有样本数值相同，比如“性别”字段已经转成哑变量后残留了一列全为0。跑归一化时报错或者警告，Relief权重这一列变成NaN，甚至影响整个特征排序。

原因：min-max归一化的分母是max - min，常值列的分母为0，得到NaN。NaN进入权重向量后，sort和后续绘图都会出问题。

解决：预处理里先删掉方差为0的列，或者像我第3章代码里那样把分母替换为eps。常值特征本来就没有判别力，删掉是合理操作。另外建议看一下你的数据里有没有“一列取值只有一种”的哑变量残留，这种列删掉还能顺便降低后续建模的维度。

5.5 类别不平衡：少数类特征被系统性低估

现象：二分类任务中正类占90%，负类占10%。Relief跑出来的权重排序里，那些能区分少数类的关键特征排名明显靠后，甚至变成负权重。

原因：随机抽样R时，样本服从全局分布，90%抽到多数类。Relief的权重是“所有被抽中的R的贡献平均”，多数类样本贡献的信息主导了最终结果。少数类样本很少被抽到，它们的区分度信息几乎被淹没了。这不是算法错了，而是它的设计假设是类别均衡。

解决：抽样阶段做分层抽样，每一轮先从各类中轮流选R，保证少数类被抽到的次数和多数类相当；或者在跑Relief之前对少数类做SMOTE过采样。还有一种思路是分别对每个类别单独跑一遍Relief，看哪些特征在每一类内部都排名靠前，这类特征往往是更稳健的选择。

6. 验证Relief选出的特征是不是真有用：交叉验证与基线对照

6.1 用嵌套交叉验证判断特征子集真假

Relief给出的权重排序只是“候选名单”，不能直接当作最终结论。我会用交叉验证来验证：特征子集换到没见过的测试数据上，精度有没有真的提升。

rng(1); cvp = cvpartition(y0, 'KFold', 5); for i = 1:cvp.NumTestSets tr = cvp.training(i); te = cvp.test(i); Wtr = relief(X(tr, :), y0(tr), 200); [~, topIdx] = sort(Wtr, 'descend'); topIdx = topIdx(1:5); % 取前5个 mdl = fitcknn(X(tr, topIdx), y0(tr), 'NumNeighbors', 5); acc(i) = 1 - loss(mdl, X(te, topIdx), y0(te)); end mean(acc)

这里最关键的一点是：Relief权重只在训练折上计算，测试折的数据在特征选择环节不能碰，否则就是数据泄漏，验证出来的精度虚高。cvpartition是统计工具箱的函数，没有工具箱的话可以自己写一个分层分折循环。能做个对比：全特征精度是多少、只用Relief前5个特征精度是多少。如果后面者没有明显下降甚至更高，说明删掉的特征确实是噪声。

6.2 个人习惯：权重只做粗筛，稳定才是红线

我现在的固定流程是：先跑一版Relief做粗筛，把权重为负和接近0的特征直接淘汰，剩下特征再交给带L1正则的模型做第二轮压缩。如果数据类别不均衡，我会分别对每类跑Relief取交集特征。选择特征时最看重的信号是稳定性：在不同随机种子下重复跑Relief，排名波动不超过两三位的特征才值得保留。波动特别大的特征，多半本身就没什么判别力，权重大只是运气好。这个习惯救过我很多次，希望帮到你。

本文还有配套的精品资源，点击获取