高光谱与近红外光谱预处理全攻略：SNV、SG平滑、导数与归一化

拿到一批高光谱或近红外原始光谱之后，大多数人的第一反应是赶紧塞进建模流程里跑一版，看到效果不理想再回头调预处理。我一开始也这么干过，后来发现这个顺序往往反了——高光谱和近红外数据的原始信号里，噪声、基线漂移、样本厚度差异、光散射干扰全都混在一起，预处理选错或者顺序不对，后续不管用什么高级建模算法都是在脏数据上做文章，结果自然很难看。

这些年折腾下来，最大的体会是：SNV、Autoscales、SG-平滑、一阶求导、归一化这串术语，看起来都是"把数据变干净"的手段，但每一种背后的数学逻辑和适用场景差别很大，混着用和序列用效果完全不同。这篇文章不打算堆公式，而是按我实际处理光谱数据的流程，把每个预处理算法的本质、参数怎么选、几种方法怎么串起来讲清楚，看完之后你可以直接照着搭一条自己的处理流水线。

1. 光谱预处理的"脏数据"到底脏在哪：先弄清楚要解决什么问题

1.1 高光谱与近红外数据的噪声来源，比你想象的多

先说近红外光谱。样品在近红外波段吸收信号本身就很弱，而且谱带宽、峰重叠严重，你会看到一条缓坡状的大曲线，上面叠着各种小鼓包。这种数据最容易出问题的地方在于：

• 颗粒度差异造成的散射：粉末样品压实程度不同、颗粒大小不均，光谱基线整体抬高或倾斜，同一浓度的样品吸光度能差出一大截。
• 温度与湿度波动：样品温度变化会让氢键相关的吸收峰位置和强度轻微漂移。
• 仪器状态变化：光源强度衰减、检测器响应漂移，会让不同时间采集的光谱基线不在一个水平线上。
• 高频噪声：电子噪声、振动噪声叠加在信号上，看不出来，但进入建模后会干扰特征提取。

高光谱成像在此基础上又多了一个维度——空间上的不均匀性。同一片区域里，每个像素都有一条光谱，光照不均匀会导致同一均质样品的左侧和右侧光谱强度系统性差异。除此之外，高光谱数据里还经常出现坏像素、暗电流未校正的异常像素，这些点如果不剔除，预处理阶段就会被当成正常样本放大。

1.2 如果预处理不做或者做得不到位，后果是什么

我见过不少刚接触光谱建模的人，拿着原始光谱直接建偏最小二乘模型，训练集拟合得很好，一拿到新样本就崩。典型的症状有三个：

• 建模集和验证集结果差距巨大，因为模型学到了样品颗粒度和仪器状态带来的信息，而不是化学成分信息。
• 同一个样品重复扫描两次，预测值相差很大，这是基线漂移没处理干净的典型表现。
• 特征波长选择结果不稳定，今天选出来的关键波长明天换个样本集就完全变了，本质是噪声和基线干扰参与进了特征筛选。

所以预处理不是可选项，而是光谱建模前的一个独立、必需的环节。理解每个算法的"意图"，比记住参数公式更重要。下面从我最常用的几个算法讲起。

2. SNV与Autoscales：两个看起来都是"标准化"的操作，作用对象完全不同

2.1 SNV：对每一条光谱自己做一次"内校准"

标准正态变量变换（Standard Normal Variate，SNV）是我处理近红外粉末和颗粒样品时最常用的预处理之一。它的核心思路是：对每一条光谱，把所有波长点的吸光度值求一个均值和标准差，然后用这条光谱自己的均值去减、用自己的标准差去除。

公式表达就是：

x_snv = (x - mean(x)) / std(x)

这里的 mean(x) 和 std(x) 是针对一条光谱内所有波长点算出来的。也就是说，每条光谱被强制变成均值接近0、标准差接近1的形状。

这个变换解决的是什么问题？它把整条光谱的"绝对水平"和"整体幅度"抹掉了，保留的是各波长点之间的相对变化模式。颗粒大小差异、压实程度不同，主要影响的正是光谱的绝对水平和整体散射幅度，而对各波长相对形状影响较小。所以SNV特别适合粉末、颗粒、固体块状样品这类散射效应明显的场景。

实操时需要注意的是，SNV对离群点非常敏感。如果某条光谱在某个波长点出现明显尖峰或者坏点，均值和标准差都会被拉偏，整条变换后的光谱都会变形。所以我在做SNV之前，通常会先做一次简单的异常光谱筛查，把明显异常的样本剔除掉。

2.2 Autoscales：站在全体样本的视角做标准化

Autoscales，有时候也叫自动缩放或标准化，它的计算方式和SNV看起来几乎一样，但作用对象完全不同。它不是对一条光谱内的波长点操作，而是对每一个波长变量、在多个样本之间做标准化。

具体来说，假设你有100个样本，每个样本2000个波长点，Autoscales做的是：对第1个波长点，计算100个样本在这个波长位置上的均值和标准差，然后用 (x_i1 - mean_1) / std_1 把这一列标准化。然后对第2个波长点做同样的事，直到所有波长点都处理完。

这是完全没有的问题。处理后每个波长变量在样本间的变化幅度被拉齐，不再受原始量纲和强度水平差异的影响。

Autoscales最典型的用途是：当不同波长区域的信号强度差异非常大时，防止强吸收区域在建模时把弱信息区域完全压住。比如近红外区域里水的吸收很强，而某个微量成分的吸收很弱，如果不做Autoscales，模型会主要盯着水吸收区域，微量成分的信息很难被利用起来。

2.3 两者怎么选，看你想消除的是哪种"干扰"

很多入门的人会把SNV和Autoscales当成同一种东西，其实它们的适用场景差异很大：

我的个人习惯是：处理近红外固体样品时优先考虑SNV；处理高光谱图像数据时，如果各波段信号强度差异特别大，会考虑Autoscales。但这两者不是互斥的，有的流程里先用SNV消除样品散射影响，再用Autoscales做变量尺度统一，也是可行的。

3. SG-平滑与一阶求导：像做菜一样控制"火候"，参数是练出来的手感

3.1 SG-平滑的两件套：窗口宽度与多项式阶数

Savitzky-Golay平滑（SG-平滑）是光谱预处理里出镜率最高的去噪手段。它的特别之处在于：不是简单地做移动平均，而是在每个窗口内用一个低次多项式对局部数据做最小二乘拟合，用拟合值替代窗口中心的点。这样做的好处是，在去噪的同时尽量保留峰的宽度和形状，不容易把峰峰压平。

SG-平滑有两个核心参数：

• 窗口宽度：通常用奇数，比如5、7、9、11、15。窗口越宽，参与的相邻点越多，平滑力度越大，但对峰的细节破坏也越明显。
• 多项式阶数：通常取2或3。阶数太低拟合能力弱，阶数太高又会把噪声细节重新拟合回来。

我个人的经验是，窗口宽度是更需要耐心的参数。它和光谱的采样间隔直接相关：如果光谱分辨率较高，波长间隔很小，同样物理宽度的峰覆盖的波长点更多，窗口可以适当取大一点；如果光谱本身比较稀疏，比如每个峰只有几个点，窗口取大了会把整个峰都抹掉。

最直接的做法是：选一个已知的纯组分样品，扫描一条光谱，然后尝试不同窗口宽度，观察峰的保留情况。哪种窗口下主峰位置不偏移、峰宽不显著变大、峰谷处平滑后没有明显失真，那就是合适的。不要指望一个窗口值通吃所有数据集。

3.2 一阶求导：把基线漂移和重叠峰拆开

一阶求导对光谱数据的价值，怎么强调都不过分。它的数学意义是反映吸光度随波长变化的速率，但实际效果主要体现在两个地方：

第一，消除基线平移。如果原始光谱整体抬升或降低一个固定值，求导之后这个固定值变成0，基线平移被完全移除。第二，突出重叠峰的信息。原始光谱里两个靠得很近的峰可能叠在一起看不出区分，但它们的斜率变化特征在导数光谱里会呈现完全不同的形态，这相当于把原始数据里被掩盖的细节"挤"了出来。

求导有两种实现方式：一种是对SG-平滑后的光谱直接做差分求导，另一种是直接用SG-平滑的导数模式，也就是在平滑同时输出导数结果。日常处理中我更推荐后者，因为它对高频噪声的控制更好。

一阶求导之后，谱图面貌会有很大变化，原来向下的大峰可能变成S形曲线，峰位对应导数值为零的位置。刚开始看不习惯很正常。关键是你需要在导数光谱里重新建立"哪个特征对应什么成分"的对应关系。

3.3 过度平滑和过度求导的代价

SG-平滑和求导像调味料，放少了没用，放多了会出问题。

过度平滑的典型症状是：峰被压扁、峰宽变大，原本相邻的两个小峰被合并成一个。这会导致有效分辨率下降，反而丢失化学信息。

而过多阶次的求导，比如用到三阶、四阶导数，信号会被迅速放大噪声，峰型变得非常细碎。高光谱图像数据尤其容易踩这个坑，因为空间上相邻像素的光谱差异本来就大，再叠加高阶导数，噪声会掩盖一切有效信息。

我的建议是：导数最多用到二阶。二阶导数可以消除线性基线漂移，同时把拐点信息提取出来，对某些复杂体系比一阶导数更好用。但如果二阶导数之后信噪比明显恶化，立刻退回一阶或者先加强平滑力度。

4. 归一化与均值中心化：尺度操作的边界，以及为什么不能无脑堆叠

4.1 三种归一化的使用边界

归一化可能是光谱预处理里被误解最深的术语。因为"归一化"这个词下面其实藏着好几种不同的操作：

• Min-Max归一化：将光谱的每个波长点映射到0到1之间，公式是 (x - min) / (max - min)。它保留光谱相对形状，对单个样本的极端值非常敏感。
• 面积归一化：将整条光谱的吸光度曲线下方面积归一为1，相当于把光谱变成概率分布形状，对强度弱但相对形状稳定的数据比较友好。
• 矢量归一化：将光谱向量除以其欧几里得长度，让光谱向量的模变为1。这种做法在近红外处理里比较常见，尤其适合样本厚度或光程不一致的情况。

我的建议是：先想清楚你要消除的是什么干扰。如果问题是样品厚度差异导致吸光度整体抬高，面积归一化或矢量归一化往往比Min-Max归一化更合适，因为厚度变化对面积的影响可以通过除以总面积消除。如果是仪器增益漂移导致光谱幅度整体缩放，矢量归一化更稳。Min-Max归一化虽然在机器学习里很常用，但在光谱处理里容易放大噪声，我用得相对少。

4.2 均值中心化：多元校正里独特的地位

均值中心化和归一化不一样。它的操作是：把全体样本的光谱在每个波长点上求平均，得到一条"平均光谱"，然后用每条光谱减去这条平均光谱。这样处理后，数据的中心被移动到原点，剩下的部分就是相对于平均水平的差异信息。

在偏最小二乘回归这类多元校正模型里，均值中心化几乎是标配。因为这类模型拟合的本质是一个线性关系，而均值中心化能有效降低模型需要拟合的复杂度，把重点放在样本间的差异上。

它和Autoscales的区别在于：Autoscales除了做中心化，还会把每个波长变量的方差缩放到1；而均值中心化只做平移，不做缩放。如果你的变量量纲差异不大，均值中心化就够了；如果不同波长区域的信号强度差异悬殊，则需要再叠加Autoscales这类方差缩放操作。

4.3 不要把所有预处理一次性堆上去

我见过一些流程把SNV、SG-平滑、一阶求导、Mean中心化、Autoscales全部串起来，美其名曰"全面处理"。这种做法的风险在于：每一步变换都在改变数据的统计分布和物理含义，叠加太多之后，你根本不知道最终进入模型的是什么信息，而且不同预处理之间可能互相干扰。比如SNV已经做了尺度统一，再叠加Autoscales就属于重复操作。

正确的思路是：先想清楚数据的主要干扰是什么。固体样品散射严重，就用SNV或去趋势；动态变化的基线，就用导数；不同波段强度差异大，才考虑Autoscales或矢量归一化。逐个添加，每加一步就对比一次效果，而不是一次性全上。

5. 一条可复用的预处理流水线与效果验证策略

5.1 我个人常用的预处理顺序

经过大量试错，我沉淀下来一条比较稳妥的处理路径，适合大多数近红外固体样品的建模场景。这条流程不一定是最优的，但作为起点很可靠：

1. 异常光谱筛查：先看原始光谱，把明显偏离群体的光谱剔除，包括坏像素、暗电流异常、样品物理破损造成的异常曲线。
2. SG-平滑：窗口宽度先取7，多项式阶数取2，观察平滑效果后再调整。
3. 一阶或二阶导数：根据基线和峰重叠情况选择。基线平移用一阶，线性漂移严重用二阶。
4. SNV或去趋势：在导数处理之后做，消除残余散射影响。去趋势对强基线倾斜特别有效，但不要和SNV同时用。
5. 均值中心化或Autoscales：这是进入模型前的最后一步，根据后续建模算法决定。偏最小二乘法用均值中心化起步，效果不理想再尝试Autoscales。

这个顺序的逻辑是：先去噪声，再提取特征（导数），然后消除散射和基线，最后统一尺度。顺序反过来效果往往差很多，比如先做SNV再做求导，会在放大噪声的同时把散射差异也一起放大了。

5.2 用交叉验证反推预处理组合是否可靠

预处理做没做对，最终要看验证结果。我的经验是：绝对不要用训练集内部表现来评估预处理的效果，过拟合会美化一切。

具体做法是：在完整数据上划分出一个独立的验证集，建模集内部再用交叉验证选参数，最后只在验证集上看一次结果。每一步预处理组合都跑同样流程，对比验证集上的交叉验证决定系数（Q²）、均方根误差（RMSEP）和偏差趋势。

有几个信号强烈提示预处理出了问题：

• 训练集效果极好，验证集效果骤降：典型的过拟合，可能是预处理太多步，模型学到了噪声。
• 预测值普遍系统性偏高或偏低：可能均值中心化处理没有把训练集和验证集放在同一尺度上，标准化参数只用了训练集的统计量。
• 同一预处理在不同子集上效果差异巨大：说明参数选取不稳定，需要回到参数选择环节。

我踩过最大的坑是：对整个数据集一起做标准化和归一化，再划分训练集和验证集。这种做法等于让预处理"偷看"了验证集的信息，算出的验证误差会偏乐观。正确做法是：先划分数据集，再单独计算训练集的均值、标准差、归一化系数，把这些参数套到验证集上去。

5.3 参数筛选的批量操作方法

SG窗口宽度、导数阶数、归一化方式、SNV还是去趋势，这些参数组合起来数量不小。手动一个个试效率太低，我现在基本是在自动化流程里枚举组合。

参数枚举的范围一般这样设置：

批量枚举完，我不只看最好的那组结果，还会看效果排名前20的组合里，哪些参数出现频率高。如果SG窗口宽度7在多个高排名组合里反复出现，说明这个参数在这个数据集上确实更稳；如果最优组合和次优组合之间误差相差不到2%，我会选择参数更简单的那组，而不是数字上最优的那组，因为简单组合在未知数据上的风险更小。

这种筛选方式在高光谱图像数据上同样适用，只是要注意一个细节：高光谱数据里相邻像素之间的光谱高度相关，如果直接逐像素建模并做交叉验证，会严重高估效果。正确做法是按空间区域划分训练集和验证集，比如用一部分空间区域做训练、另一部分区域做验证，或者至少保证训练集和验证集来源于不同空间位置。否则预处理参数在"同一块样品"上反复验证，选出来的结果换一个新场景就又不行了。

最后再分享一个小技巧。每当拿到一批全新的光谱数据，我会先挑出一条最有代表性的光谱，只做SG平滑，然后直接看成图效果，不加任何其他预处理。这一步能帮你很快判断数据的基本信噪比、峰形特征和基线漂移程度。很多预处理问题，在看图阶段就能发现——比如明显的高频毛刺、突兀的尖峰、整条曲线在一个方向上倾斜。这些信息比任何自动筛选都直接。我习惯在批量枚举参数之前，先人工看图做一轮"预判断"，往往能把候选参数范围缩减一大半，既省时间，又能避免参数选择完全脱离数据本身。