SPXY样本集划分：联合X与Y距离提升模型评估可信度

简介：围绕样本集划分这一建模前置环节，资料包面向从事近红外光谱定量分析、机器学习建模以及交叉验证实验的读者，提供SPXY样本划分与蒙特卡罗交叉验证相结合的实践参考。内容以MATLAB脚本和一篇应用文献为主，涉及SPXY划分、KS与RS等样本选择思路，并延伸到橘叶中橙皮苷含量测定的近红外光谱案例，可帮助读者理解训练集与验证集如何兼顾代表性、分布一致性与模型泛化能力，也便于对照随机抽样、KS检验等策略在样本选择中的差异。压缩包共4个文件，含3个m脚本和1个pdf文档，整体约291KB，体积轻便，适合直接查阅脚本逻辑、复现划分流程并理解文献中的实验设计与评价指标。已有1827人学习，适合需要为光谱建模、参数调优与模型评估补充方法依据的读者。

1. 样本集划分：为什么随手分一半通常行不通

三百份土壤样本摆在面前，要建一个预测有机质含量的模型。第一件事是决定哪些样本用来学、哪些用来考。这件事叫样本集划分。SPXY是这类方法里比较讲究的一种：它不靠抽签随机分，而是把样本的自变量和因变量放在一起衡量远近，让挑出来的训练集在两头都铺得开。搞懂它，你就明白为什么有些模型报告的数字漂亮得可疑——换一种划分方式，同一批数据、同一个算法，指标可能掉一大截。

2. 为什么划分方式会决定模型的可信度

很多人把划分当成一件随手完成的事：写一行随机函数，切出三成当测试集，跑完看指标，收工。真正出问题的时候，往往不是算法选错了，而是这一步从根上就不成立。划分方式决定了模型评估结果有没有参考价值，也决定了模型学到的是规律还是巧合。

2.1 训练集与验证集之间那份隐形契约

把建模想成准备考试。训练集是你平时做的练习册，验证集是考场上那张没见过的卷子。练习册的题如果和考卷高度重合，分数当然好看，但这个分数说明不了你会不会。模型评估的全部意义，就在于用一个模型没接触过的样本来估计它的泛化误差。这里有一条不成文的契约：验证集必须是模型没有接触过的样本，而且这些样本要能代表模型将来遇到的数据范围。

在实际项目中，这条契约有两层含义。第一层是物理上的独立：同一个样本不能既在训练集又在验证集。第二层是分布上的独立：验证集的样本要能覆盖训练集没有覆盖到的区域，否则你测的只是模型在熟悉区域内的表现。近红外光谱、色谱、质谱这类数据特别容易违反第二层——同一个样品装在不同比色皿里测三次，得到三条几乎一样的光谱，随机划分时它们可能被分到两边，验证集就失去了独立性，指标显得非常高。这种情况在文献里有个专门的说法，叫近邻泄漏。它不会报错，也不会警告，只会给你一个乐观偏高的数字，等换到新样本上就直接下降。这是样本集划分里最有欺骗性的一类问题。

所以划分不只是切数据，它决定了评估的结论是否有意义。一个划分得好的数据集，能让模型之间、参数之间的比较有意义；划分得差，所有下游结论都建立在不牢固的基础上。

2.2 随机划分容易出现的三个问题

随机划分看起来最公平，其实在小样本场景下问题不少。下面三个是最典型的。

问题一：分布偏移。样本量只有一两百条时，随机划分的方差很大。某一类样本数量少，比如浓度偏高的一批只占一成，随机切一刀，有可能它们全被分到训练集，验证集里一条都没有。这样训练集能学到这个区间，但验证集完全没有检验能力，指标只反映了模型在中间浓度区间的表现。反过来，也可能这批极端样本全落到验证集里，模型从没学过这个范围，误差自然很大，你会误以为模型不行。

问题二：极端样本错配。预测模型最怕两端。浓度范围的两端样本少、代表性差，但恰恰是外推能力的关键。随机划分很容易让训练集缺失端点样本，模型在端点附近直接偏离实际结果；或者让验证集缺失端点，你看不到这个明显问题。等到真实应用时遇到端点样本，模型就会出错。

问题三：近邻泄漏。前面提过，重复测量、同源样本、时间上相邻的样本，在特征空间里距离非常近。随机划分会把它们打散到两边，造成信息泄漏。天气数据、批次数据、同一样品的多次扫描，都属于高发场景。判断方法很简单：算一下训练集每个样本到验证集最近样本的距离，如果大量样本的距离接近于零，就要怀疑了。

提示：样本量越小、重复测量越多，随机划分的结果越不可信。这时候换一种确定性划分方法，可复现性也会更好。

2.3 从随机到按距离挑选：划分方法怎么一步步变讲究的

划分方法的演进大致走过这么几步。最早是纯随机，简单，但问题如上。后来有人提出按目标值分层抽样：把 Y 排序，按比例从每段里抽，保证验证集的 Y 分布和整体一致。这一步解决了分布偏移的部分问题，但只看了 Y，没看 X。对于光谱这种高维数据，Y 相同的两个样本可能来自完全不同的物质体系，X 差得很远，光按 Y 分层还是不够。

再往后就是KS：按自变量空间的距离挑样本。思路是把距离最远的一对样本选进训练集，然后每次选一个离已选集合最远的样本，直到训练集数量够了。这样选出来的训练集在 X 空间里分布得很均匀，覆盖范围广。

SPXY沿着 KS 的思路继续走一步：既然 Y 也是信息，为什么不一起算进距离里？于是它把 X 距离和 Y 距离分别归一化，再相加成一个联合距离，用同样的贪心策略选点。这套做法的好处是训练集在特征空间和目标值空间里都铺得比较开，尤其适合 Y 分布不均匀、两端样本稀少的数据集。

3. SPXY 是什么：把 X 和 Y 一起算进距离里

方法的名字已经把核心说完了：基于 X 和 Y 的联合距离来划分样本集。它的输入是两样东西——样本的特征矩阵（比如光谱、理化指标）和目标值（比如浓度、含量），输出是一组样本编号，告诉你哪些进训练集。整个过程是确定性的：给同一份数据，每次运行结果完全一样，这一点对需要复现的实验来说很实用。

3.1 一句话理解：两套距离各自归一化，再相加

先把 X 空间里的两两距离算出来，得到一个 n×n 的矩阵，记作 d_x。再把 Y 空间里的两两距离也算出来，记作 d_y。如果 Y 是单个指标，这就是一维欧氏距离，也就是差值的绝对值；如果 Y 是多指标，就按多维欧氏距离算。

关键一步在归一化：d_x 除以它自己的最大值，d_y 除以它自己的最大值，然后两者相加。

这里要澄清一个细节：X 和 Y 的归一化必须分别做。原因是两者的量级完全不可比——X 可能是上千个波长上的吸光度，算出来的距离数值动辄几十上百；Y 可能只是一个百分含量，距离最大也就几十。直接相加，X 的距离会独占全部权重，Y 等于没参与。各自除以最大值之后，两个距离都被压到 0 到 1 之间，权重才对等。

完成一个具体的例子：样本 A 和样本 B 在 X 空间的距离是全部样本对中最大距离的 0.3 倍，在 Y 空间的距离是最大 Y 距离的 0.8 倍，那么它们的联合距离就是 1.1。

这个设计带来的直接后果是：SPXY 关心的不只是“特征上分得开”，还关心“目标值上分得开”。两个样本即便光谱很像，只要浓度差得远，联合距离依然不低，会被优先选进来。

3.2 选点过程：从最远的一对出发，用贪心策略逐步填满

选点策略和 KS 完全一致，只有距离的定义换了。

第一步，在联合距离矩阵里找到数值最大的一对样本，把它们放进训练集。这对样本是全局最远的两个点，分别代表整个数据分布的两端。

第二步，对剩下的每个样本，计算它到已经选入训练集的每个样本的距离，取其中的最小值。这个最小值代表候选样本与已选集合的最近距离。

第三步，选出那个最小距离最大的样本，也就是相对而言离已选集合最远的样本，加进训练集。

第四步，重复第二、三步，直到训练集样本数达到预设值。

这个贪心策略有效的原因是：每加一个点，只更新这个点带来的距离影响，不需要重新计算整个距离矩阵；而且每次选的样本总是落在当前覆盖范围最欠缺的方向上，最终训练集在空间里的分布比较均匀，不会挤在一起。剩余样本自动成为验证集，它们恰好分布在训练集点与点之间的空隙里，构成一种“插值式”的检验。

3.3 一份可复现的 Python 实现和参数说明

下面这段代码实现了完整的 SPXY 流程，可以直接运行。

import numpy as np def spxy(X, y, n_train): """ X: (n_samples, n_features) 特征矩阵，如光谱、理化指标 y: (n_samples,) 或 (n_samples, n_targets) 目标值 n_train: 训练集样本数 返回: 训练集下标列表 """ X = np.asarray(X, dtype=float) y = np.asarray(y, dtype=float).reshape(len(X), -1) # 1. 标准化，消除不同特征之间的量纲差异 Xs = (X - X.mean(axis=0)) / (X.std(axis=0) + 1e-12) ys = (y - y.mean(axis=0)) / (y.std(axis=0) + 1e-12) # 2. 计算两两欧氏距离矩阵 dx = np.linalg.norm(Xs[:, None, :] - Xs[None, :, :], axis=2) dy = np.linalg.norm(ys[:, None, :] - ys[None, :, :], axis=2) # 3. 各自按最大值归一化后相加，得到联合距离 dxy = dx / (dx.max() + 1e-12) + dy / (dy.max() + 1e-12) n = len(X) selected = [] # 4. 起点：全局距离最远的一对样本 i, j = np.unravel_index(np.argmax(dxy), dxy.shape) selected.extend([int(i), int(j)]) # 5. 维护每个候选样本到已选集合的最小距离 dmin = np.minimum(dxy[i], dxy[j]) dmin[selected] = -np.inf # 已选样本不再参与 while len(selected) < n_train: k = int(np.argmax(dmin)) # 选离已选集合最远的样本 selected.append(k) dmin = np.minimum(dmin, dxy[k]) # 更新最小距离 dmin[selected] = -np.inf return selected

几个参数值得说明。n_train决定训练集规模，通常取总数的 60% 到 80%，具体要看样本量：样本上百条时取七成左右比较稳，样本只有几十条时训练集比例可以更高，但验证集不能少于 20 条，否则指标波动太大。第 1 步的标准化用样本自身的均值和标准差，这一步只作用于 X 和 Y 的内部尺度，不涉及跨样本信息。第 3 步的两个1e-12是为了防止除零，比如某个特征在所有样本上取值完全相同时，标准差会是零。

如果想跑 KS 做对比，只需把第 3 行换成dxy = dx / (dx.max() + 1e-12)，其余逻辑不用动。这也是理解两者关系最直接的方式。

注意：距离矩阵的大小是 n×n，样本数上万时会占用较多内存。这类场景一般先做聚类或分层，再在层内用 SPXY。

3.4 联合距离改善了哪一步

单看算法，SPXY 和 KS 的差别只在一行。但这一行带来的变化不小。

当 Y 的分布不均匀时，比如大部分样本集中在中间浓度，只有少量落在两端，只用 X 距离选点，训练集可能遗漏这些端点样本。端点样本在 X 空间里未必离群，但在 Y 空间里离得远，联合距离能把它们挑出来。结果就是训练集覆盖了完整的浓度范围，模型在两端不会缺乏依据。

反过来，当 Y 分布很均匀、样本在 X 空间里也铺得很开时，SPXY 和 KS 的结果往往非常接近。这不是方法失效，而是数据本身没有给 Y 距离提供额外的信息。理解这一点，能避免把 SPXY 当成万能方案。

4. SPXY、KS 与交叉验证：几个最容易混为一谈的概念

这几个词经常出现在同一段方法描述里，读快了就会糊成一团。下面拆开讲。

4.1 易混点一：SPXY 和 KS 是两个算法，还是一个的升级版

容易混淆的原因在于两者共享同一套选点框架：最远一对起点、贪心填充、逐步扩大覆盖，连代码都几乎一样。所以很多人误以为这是两个并列的、互相竞争的方法。

准确的区分是：KS 只用 X 距离，SPXY 用 X 距离加 Y 距离。SPXY 是在 KS 的框架里换了一个距离定义，可以把它理解成 KS 的扩展形式，而不是另起炉灶的新算法。理解这层关系，选择时就不用纠结“到底哪个更先进”：如果 Y 分布均匀、样本在特征空间里覆盖良好，两者结果差别很小；如果 Y 两端样本少、或者 Y 的分布明显偏斜，SPXY 更有优势。真正需要区分的不是先进程度，而是你的数据里 Y 是否携带了需要被覆盖的信息。

4.2 易混点二：样本集划分不是交叉验证

这两件事经常被写在同一段里，但它们处在不同层级。样本集划分解决的是训练集和测试集怎么分，交叉验证解决的是在训练集内部怎么评估和调参。

具体来说，划分做完之后，你手上有一个训练集和一个测试集。交叉验证发生在训练集内部：把训练集再切成 k 份，轮流拿一份当验证、其余当训练，得到 k 个误差估计，用来选超参数、判断模型是否过拟合。等一切定下来，最后用测试集做一次最终评估。测试集在这之前不能碰。

混淆的后果很实际：有人把交叉验证的误差当成最终性能报告，其实那个数字是在训练集内部得到的，模型在调参过程中已经间接见过这些数据。也有人把测试集反复用来比较多个模型，比着比着测试集就被“用旧了”，最后的指标不再客观。正确的顺序是划分在前、交叉验证在中、测试集评估在最后。

4.3 易混点三：训练集比例有个标准答案

七三、八二、二八，这些数字在各类教程里反复出现，久而久之像是规矩。实际上没有哪个比例适用于所有场景。

比例取决于三件事：样本总量、数据噪声水平、模型复杂度。样本总量大时，验证集占比可以小一些，因为绝对数量足够；样本只有几十条时，验证集不能太少，否则指标波动极大，同时训练集也不能太少，否则模型学不到东西，这时候往往要配合交叉验证来弥补。数据噪声大时，验证集需要更大，才能稳定估计误差。模型复杂、参数多时，训练集需要更大，否则容易过拟合。

更实用的做法是先定验证集的绝对数量下限，比如分类任务每类至少若干条、回归任务至少覆盖 Y 的整个范围，再让剩余样本进训练集。这样比例是算出来的，不是套出来的。

4.4 易混点四：SPXY 不等于按 Y 分层抽样

两者都关心 Y，但方式完全不同。

分层抽样的做法是把 Y 排序后分成若干区间，每个区间按比例抽样本，目标是让训练集和验证集的 Y 分布形状一致。它的重点是分布一致。

SPXY 的做法是计算样本间的联合距离，优先挑选空间上分散的点，目标是让训练集在空间中覆盖得更开。它的重点是覆盖范围，不追求分布形状一致；恰恰相反，它有意让训练集包含更多端点样本，这会让训练集的 Y 分布和整体分布出现偏差。

所以两者的结果有时会相反：分层抽样会让训练集和验证集的均值、方差接近，SPXY 则可能让训练集明显偏向两端。哪个更好，取决于你想检验什么。要评估模型在总体上的平均表现，分层抽样更合适；要检验模型在整个浓度范围尤其是端点处是否可靠，SPXY 的覆盖式选点更有意义。

4.5 易混点五：划分得好，模型就一定更好

这是一个很容易产生误解的地方。SPXY 改善的是训练集的代表性，不直接改善模型本身。它带来的是更合理的评估和更充分的覆盖，但如果数据本身噪声很大、特征与目标之间关系很弱，再讲究的划分也改变不了结果。

还有一种情况：SPXY 选出的训练集包含更多端点样本，这些样本本身就更难预测，所以模型在训练集上的拟合误差可能反而比随机划分更高。这不代表模型变差，而是训练集变难了，更能反映真实难度。看到这个现象不必惊慌，应该关注测试集上的表现是否更稳定、更接近实际应用时的水平。

5. 把 SPXY 放进真实流程：顺序、参数和常见问题

方法本身不复杂，真正容易出错的地方在流程顺序和细节处理上。

5.1 先划分还是先预处理：信息泄漏的分界线

这是实践中最容易出错的一步。正确的顺序是：先划分样本，再在训练集上计算预处理参数，然后把这个参数应用到验证集。

以标准化为例。如果先对全部数据算均值和标准差，再划分，那么验证集的统计信息已经参与了训练过程，属于信息泄漏。看似只泄露了两个数值，但在小样本场景下，影响不可忽略。主成分分析降维、变量筛选、异常值剔除，都存在同样的问题：这些步骤用到了全体数据的统计量，必须在划分之后、只用训练集来做。

# 正确顺序：先划分，再拟合预处理 train_idx = spxy(X, y, n_train=150) X_train, X_test = X[train_idx], np.delete(X, train_idx, axis=0) y_train, y_test = y[train_idx], np.delete(y, train_idx, axis=0) from sklearn.preprocessing import StandardScaler scaler = StandardScaler().fit(X_train) # 只用训练集拟合 X_train_s = scaler.transform(X_train) X_test_s = scaler.transform(X_test) # 用同一个 scaler 变换

这段代码的关键在fit的位置。fit只在训练集上调用，验证集只调用transform。虽然多写了两行，但这是保证评估有效的基本要求。

注意：SPXY 本身在计算距离时用到了全部样本的两两距离，这一点常被质疑。它的定位是划分工具，在建模开始之前使用，此时还没有模型和预处理参数，不构成信息泄漏。真正要避免的是划分之后的处理步骤再用到验证集信息。

5.2 参数怎么定：距离度量、Y 的权重、训练集数量

SPXY 的可调参数其实不多，但每个都值得想清楚。

距离度量默认用欧氏距离，这也是原始定义的做法。如果特征之间存在强相关，比如相邻波长高度冗余，欧氏距离会被重复信息放大，这时可以考虑先做降维再算距离，或者在距离计算前做主成分分析。不过要注意，降维本身也要基于训练集做。

Y 的权重是另一个可调项。标准 SPXY 中 X 和 Y 各占一半，这是通过归一化实现的等权。如果业务上更看重 Y 的覆盖，可以在加和时给 Y 距离乘一个系数，比如 1.5，让 Y 的差异更容易被选中。这个系数没有理论最优值，通常通过比较几次划分结果来定。

训练集数量按前面说的原则确定：保证验证集有足够的绝对数量和覆盖范围。划分完成后，建议记录以下信息，方便复现和比较：

5.3 划分结果怎么验证：看覆盖情况，不只看指标

跑完模型看一眼 R² 就结束，是常见的疏忽。划分好不好，在建模之前就能检查一部分。

把训练集和验证集的 Y 画在一起看，两端有没有缺失，中间有没有断层。计算每个验证集样本到训练集的最近距离，如果存在大量近似为零的值，说明有重复样本被打散。检查训练集在特征空间前两个主成分上的散点分布，看是否覆盖了整个区域还是集中在某一角。

这些检查不需要建模，几分钟就能做完，却能提前发现大部分问题。之前遇到过一次困扰很久的情况：模型在验证集上表现很好，换一批新样本就明显下降。回头检查才发现，原始数据里有一批样本是同一批次的重复测量，随机划分时被分到了两边。改成按批次分组后，指标降了一大截，但那才是真实水平。

5.4 常见的失败信号与排查

信号一：验证集指标异常高，接近训练集。除了模型确实简单有效，更要怀疑泄漏。排查方向是检查重复样本和预处理顺序。

信号二：验证集误差极大，且集中在某个区域。往往是训练集在该区域没有样本。把误差大的样本的 Y 值找出来，看是否落在训练集覆盖范围之外。

信号三：换一种划分方式，指标大幅变化。说明模型对训练集构成敏感，稳定性不足。这时候不该挑一个好看的划分结果报告，而应该做多次划分，报告指标的范围。

信号四：SPXY 选出的训练集和 KS 几乎一样。说明 Y 的分布很均匀，Y 距离没有贡献额外信息。这种情况下用哪个都行，不必纠结。

6. 什么时候该用 SPXY，什么时候换个方法更省事

讲到这里，判断标准其实已经比较清楚了。SPXY 适合的场景有明确特征：样本量在几十到几千之间，Y 的分布不均匀或者两端样本稀少，特征维度较高且样本在空间中分布不均，实验结果需要可复现。近红外光谱定量、色谱指纹图谱建模、材料性能预测这类场景，往往同时满足上述几条，因此 SPXY 用得比较多。

反过来，有些情况用它并不划算。样本量极大时，n×n 距离矩阵的内存开销会变得难以接受，这时先做聚类再在簇内选点更实际。Y 的测量误差很大时，Y 距离本身不可靠，联合距离会把噪声一起考虑进去，反而不如只用 X 距离。数据里存在明显的分组结构，比如多个批次、多个来源，需要的是按组划分而不是按距离划分，SPXY 无法处理这种约束关系。还有一种情况：只关心模型在总体上的平均精度，不关心端点外推，这时候按 Y 分层抽样更简单，结果也够用。

有一个做法值得坚持：无论用哪种方法，都记录下划分前后的统计特征，包括 Y 的范围、均值、训练集到验证集的最近距离分布。这份记录在别人质疑结果、或者自己几个月后回头复查时，能省下大量时间。最早做光谱建模时，我习惯划分完直接跑模型，结果换台机器复现不出同样的数字，因为当时用的是随机划分又没记种子，花了两天才查清原因。从那以后我每次做样本集划分，都会把方法名、训练集数量、两集合的 Y 范围写进实验记录，再附一段五行的检查代码。这套习惯不复杂，但真的能避免很多返工。

希望帮到你。

本文还有配套的精品资源，点击获取