深度注意力SMOTE：工业时序不平衡异常检测新方法

1. 异常样本永远不够用：工业时序数据不平衡的真相

前阵子一个做风电齿轮箱状态监测的朋友找我诉苦：他们某台机组的故障报警数据攒了大半年，经过专家标注，真正能用的故障样本只有三十多条，而正常运行数据攒了十三万条。模型在验证集上F1看着还行，一上现场就疯狂误报。他问我要不要换更强的分类网络，我说你先别急着换模型，问题的根子不在模型容量，而在数据分布本身——这就是典型的工业时序不平衡异常检测场景。

这类场景在工业现场太常见了。设备绝大部分时间在正常运行，故障是稀有事件，而且是突然事件。你不可能为了收集故障样本特意把产线跑坏，也不可能要求运维人员拿着故障标签耐心等你采集完一轮完整数据。于是不平衡比可以夸张到几百比一甚至上万比一，而且故障样本往往集中在某些特定工况窗口内，比如启停机阶段、变载阶段，分布极其不均匀。

针对这种不平衡，大家首先想到的无非是几条路：调整分类阈值压低误报、对正常样本做欠采样、对故障样本做简单复制过采样、或者在损失函数里给少数类加权。这些手段我都试过，效果参差不齐。调阈值治标不治本，模型根本没学到故障的边界；欠采样扔掉大量正常运行模式，模型一遇到没见过的工况就乱跳；复制过采样只是增加样本权重，特征空间里该重叠的地方照样重叠；加权损失表面好看，训练后期少数类样本被反复碾压，直接过拟合到噪声上。

所以这几年工业异常检测方向越来越多人转向合成数据增强——与其在原始数据上想办法，不如从数据生成的角度，在少数类区域合成出更多合理、多样、贴近真实分布的故障样本。而标题里这个Deep Attention SMOTE，就是属于这一派的新思路：把传统SMOTE的"无脑插值"升级成"可学习的、带注意力引导的插值"。这篇文章我就从为什么传统SMOTE在时序上撑不住讲起，拆解这个方法的核心机制，再把我自己跑实验时的配置、踩坑和评估经验一并交底，希望能帮到正在被工业不平衡数据折磨的人。

2. 传统SMOTE在时序数据上失灵的原理剖析

2.1 SMOTE的算法流程与它隐含的三个假设

先快速回顾一下传统SMOTE。它的操作很简单：对少数类中的一个样本x_i，在特征空间里找出它的k个近邻（通常用欧氏距离），然后从中随机挑一个近邻x_j，在x_i和x_j的连线上随机取一个点作为新样本：

x_new = x_i + λ(x_j − x_i)，其中λ服从0到1之间的均匀分布。

这个公式看起来人畜无害，但它的有效性建立在三个隐含假设上。第一，特征空间必须是平滑的，两个近邻之间任意中间点都大概率属于同一类；第二，近邻关系能反映真实语义相似性，距离近就意味着样本在物理含义上也相近；第三，合成样本的分布能贴合原分布的形状，不会跑到属于正常类的区域里去。

在表格数据、图像特征这类场景中，这三个假设基本成立，所以SMOTE及其变体（Borderline-SMOTE、ADASYN等）表现出色。可一到工业时序数据上，这三个假设全部崩了。

2.2 时序数据是如何打破这三个假设的

假设一是平滑性。工业时序信号普遍存在强自相关性：t时刻的采样值和t+1时刻的采样值高度相关，波形有连续性，一个窗口内的数据点不是独立同分布的。SMOTE对两个窗口做逐元素线性插值，结果可能破坏波形本身的物理连续性。举个例子，把某段正常上升沿的前半段和某段故障冲击的后半段硬拼在一起，得到的合成窗口既不像正常也不像故障，纯粹是特征空间里的一个"缝合怪"。

假设二是近邻的语义一致性。时序特征空间中的"距离近"未必代表"工况相同"。同一条生产线上，转速、负载、温度会共同影响读数，两个欧氏距离很近的窗口可能分属完全不同的工况阶段，它们的特征连线穿过的区域在物理上根本不存在。更麻烦的是，故障样本本身有强时变性——早期微弱故障和晚期严重故障的波形形态完全不同，SMOTE不知道这一点，会把早期样本和晚期样本拉在一起插值，合成出一堆物理上不可能出现的中间态。

假设三是边界分布。工业故障样本通常贴着正常域的边界分布，因为故障是从正常状态逐渐演化出来的，初期特征和正常很接近。SMOTE在少数类内部插值时，一旦近邻选取失误，合成样本很容易越过决策边界掉进正常域，等于给分类器灌入带错误标签的数据。这类噪声在工业场景里的代价极高：一个被错误标记为故障的合成样本，会直接放大误报率，让现场人员对报警彻底失去信任。

2.3 边界样本问题在工业故障中的放大效应

我举个具体例子。某注塑机合模过程的压力曲线，正常样本的峰值集中在某个区间，模具卡涩故障的峰值略微偏低。SMOTE在某几个故障样本之间插值时，生成的样本峰值落回了正常区间边缘，特征上完全看不出故障痕迹。训练时模型被逼着把这类样本当作故障，结果真实故障样本反而变成了离群点。

这类问题在工业时序上比在普通表格数据上严重得多，原因在于时序信号的特征维度不是独立变量，而是一条曲线上前后相关的采样点。SMOTE用统一欧氏距离去衡量窗口相似性，既没有维度权重，也没有时间对齐，对相位偏移、尺度差异、工况变化一概不敏感。换句话说，传统SMOTE是"蒙着眼睛在特征空间里连线"，它生成样本的效率很高，但方向对不对完全靠运气。

3. Deep Attention SMOTE：给合成过程装上注意力放大镜

3.1 从"均匀插值"到"选择性插值"的核心思路转变

Deep Attention SMOTE的设计动机，说白了就一句话：合成样本时，不该把特征空间的每个方向、每个邻域、每个时段都一视同仁，而应该让模型自己学会"看哪里才是对的"。

传统的SMOTE有三个环节是不可学习的：选哪个近邻、在连线的哪个位置取值、给每个特征维度怎么加权。Deep Attention SMOTE的改进方向就是把这几个环节全部替换为可微分的注意力机制，让模型在训练过程中根据任务反馈，自动调整"合成策略"。这跟人做手工很像：新手裁缝照着纸样直接下剪刀，成品歪歪扭扭；老师傅会先摸布料纹理，看经纬走向，再决定从哪里下刀。注意力机制在这里扮演的就是"观察"的角色，决定插值应该在哪个维度上走多远、该参考哪个邻居、该避开哪些时间片段。

3.2 注意力模块到底在学什么：样本注意力和特征注意力

我在复现和阅读相关工作时，理解下来注意力模块通常会在两个层面上起作用，可以并行设计，也可以串联使用，下面分开说。

第一个层面是样本级注意力（sample-level attention）。传统SMOTE是在k个近邻里均匀随机挑一个，但工业时序里这些近邻的质量参差不齐——有的近邻和当前样本同属一个故障演化阶段，有的近邻隔了好几个工况周期，还有的近邻本身可能被噪声污染。样本级注意力做的事情，就是计算当前样本和每个候选近邻之间的"相关性得分"，给高质量近邻更高的采样权重，降低低质量近邻被选中的概率。这个相关性得分不是简单距离度量，而是由网络学习出来的，可以同时融合多个传感器通道、时频特征和工况标签信息。

第二个层面是特征级注意力（feature-level attention）。SMOTE对窗口内每个采样点做等权重插值，这在时序上非常不合理。故障冲击通常只发生在波形的某个区段，对整条曲线所有点一视同仁，等于把大量无关的正常形态也复制进了合成样本。特征级注意力为每个特征维度计算一个权重，允许插值在各维度上有不同幅度的移动。例如在振动信号的频谱特征上，故障频段的方向就走远一点，正常频段的方向就走近一点，这样合成的样本在语义上更聚焦在"故障之所以成为故障"的判据上。

还有一个更高阶的变体会加入窗口级注意力，或者叫时序上下文注意力。它不是在单个窗口内做文章，而是考虑合成窗口前后的正常/故障片段，确保合成窗口放在真实时间流里依然连贯。这对于后续用滑动窗口做在线检测特别重要，因为部署时模型收到的每个窗口都带着上下文，孤立窗口的真实性远不如上下文连贯的窗口重要。

3.3 可学习增强与传统增强的本质区别

传统SMOTE及其各类人工变体（比如只在边界样本附近插值、按难度分配插值数量），本质上都是人在离线状态下拍脑袋定的规则。这些规则在公开数据集上往往有效，是因为这些数据集的特征空间恰好比较规矩。工业数据不是这样，不同设备、不同工况、不同故障类型，它的特征流形形状千差万别，一套规则很难通吃。

可学习增强的核心不同在于：合成策略的参数是和下游分类/检测任务一起通过梯度下降学出来的。直观上，这相当于让模型同时回答两个问题——什么样的样本最难分、什么样的合成样本能帮我把这个边界推得更干净。注意力权重在训练过程中会逐渐集中在真正影响分类决策的区域上，于是模型的合成行为会随着任务难度变化而自适应调整。故障特征越隐蔽，注意力就越会聚焦到微弱差异所在的时间点或频段上；故障样本越稀少，注意力就越倾向于保守，只在高置信度的近邻之间合成分散度较低的样本，避免产出跨越边界的噪声。

这一点是把"数据增强"从数据处理环节性质上搬进了网络架构里，让增强本身成为模型的一部分。我之前在常规SMOTE上试过切换不同距离度量、调整近邻数、甚至用K-Means做聚类后分簇插值，效果起起伏伏，始终做不到对数据集的自适应。后来换了可学习的框架思路，才明显感受到什么叫"模型在帮你找合成方向"。

4. 搭建与训练：一个可复现的参考框架和关键参数

4.1 推荐的整体网络结构组合

因为不同文献里给的具体结构不完全一致，我在实际搭建时用的是下面这个组合方案，整体效果稳定，也比较好定位问题：

读取原始时序窗口后，先经过一个编码器把原始波形压缩为特征向量。编码器可以用一维卷积，也可以用Transformer块，考虑到工业数据长度一般不长（几百到几千点），一维卷积加全局池化性价比很高。接下来注意力模块在这个特征空间上工作，分别输出近邻选择权重和特征维度权重。合成器根据这两个权重执行加权插值，生成一组候选合成特征，再送进解码器把特征还原成时序窗口。与此同时，一个分类器接收合成样本和真实样本，输出故障概率，整个流程端到端用一个总损失训练。

我在实验中用一维卷积编码器，两层卷积加BN加ReLU，再接全局平均池化，隐层维度设置256，已经能覆盖大多数传感器通道数。注意力模块是重点：近邻相关性用点积注意力实现，特征权重用带温度系数的softmax归一化，温度系数初始设1.0，后面可以调到0.7增强选择性。

4.2 损失函数的拆解与训练策略

总损失函数我拆成三个部分，每一部分都有各自的职责。

第一部分是分类损失，就是普通的有监督分类损失，评估合成样本和真实样本混在一起后，分类器能不能把故障和正常干净地区分开。第二部分是合成质量损失，可以用判别器来闭环，就是让一个判别器去分辨"哪个是真实故障样本、哪个是合成样本"，如果合成痕迹太明显，判别器能轻易识别，说明合成策略还不合格；如果判别器都分不清，说明合成的故障样本在分布上和真实样本足够接近。这个GAN式的对抗目标虽然听着复杂，但实现起来就是个二分类判别器，训练开销不大。第三部分是正则项，我倾向于加一个特征空间一致性约束：合成样本在编码器输出空间里，与其在原始空间里的距离应该保持在一个合理范围，防止注意力模块走极端，生成离所有真实样本都太远的幻觉样本。

训练上要特别注意一个细节：注意力模块的参数不能更新得太快，否则训练早期就会收敛到一个"完全不合成、只复制最接近邻居"的退化状态。我的做法是把注意力模块的关键权重用较低学习率，或者给注意力输出加一个dropout，强迫它探索多种合成方向。这部分比较容易踩坑，后面我还会单独展开。

4.3 关键超参的初始值建议

下面是几组我在不同数据集上测试过、表现比较稳的初始配置，新手可以直接拿来当起点。

注意，以上数值不是绝对的，我的习惯是先用一小组真实故障样本跑通一轮前向和反向传播，确认梯度能正常回传，再去网格搜索。工业数据的坑在于不同传感器采集频率差别很大，512点的窗口和2048点的窗口，网络容量和注意力感受野需求完全不一样，必须按实际情况缩放。

4.4 评估指标的选用：别只盯着F1

不平衡场景下评估指标要特别小心。很多论文习惯报F1，但F1里面精确率和召回率的权重完全取决于当前阈值，工业现场对误报率的容忍度在不同阶段差别巨大——早期预警阶段宁可多报，稳定运行阶段则希望越少越好。我一般会同时看三个指标，而不是单看F1。

第一个是PR-AUC，即精确率-召回率曲线下面积。它不依赖阈值，对少数类性能的变化非常敏感，是衡量不平衡检测能力的首选。第二个是G-Mean，即几何均值，定义为召回率乘以特异度再开方。它同时要求少数类和多数类都不能太差，能防止模型牺牲正常类来刷F1。第三个是合成样本的"可判别性"，我用一个简单办法量化：把合成样本喂给一个只在真实故障样本上训练过的线性分类器，看它的置信度分布。如果大多数合成样本的置信度接近真实样本，说明合成质量靠谱；如果置信度普遍偏低，说明合成样本已经漂移到边界外了。

这些指标之间经常打架，我见过PR-AUC很高但G-Mean很惨的模型，那通常就是合成样本把正常类区域也覆盖了，模型为了迎合合成样本牺牲了正常样本。所以评估时不要只看一个数，要把三个指标放在一起看分布。

5. 我在实际实验中踩过的坑与几点补充建议

5.1 注意力退化问题：模型学会了偷懒

这是我遇到的最常见也最隐蔽的问题。训练一段时间后，注意力模块可能收敛到一个非常无聊的解：近邻注意力全部集中到某一个和当前样本最近的样本上，特征注意力则趋近于全1或全0。前者导致模型退化成"复制粘贴最近邻居"，后者导致退化成传统SMOTE或干脆不合成。整个可学习增强的意义直接消失，但损失函数上却不一定会明显暴露，因为复制最近邻居通常也能让分类损失降低。

我的排查手段很简单：训练结束后，把注意力权重的分布统计出来画个直方图，如果绝大多数样本的注意力权重都挤向某个极端值，基本判定退化了。修复方法是给注意力输出加熵正则项，鼓励权重保持一定分散度。我实践中把熵正则系数设0.01左右，退化问题基本消失。

5.2 合成样本比例：不是越多越好

直觉上可能觉得故障样本太少，就多合成一些。我一开始也这么想，合成比例拉到2:1，结果模型在验证集上反而变差了。原因在于合成样本分布再接近真实，也毕竟不是真实，数量一旦超过某个限度，模型就开始在合成数据形成的"人工流形"上过拟合，真实故障样本反而成了少数派。

我建议的控制方法是：先以0.25的比例起步，逐步往上加，同时盯住PR-AUC在验证集上的变化曲线。PR-AUC开始下降的那个点，就是当前数据集能承受的合成比例上限。这个经验值在不同数据集上差异很大，有的设备数据特征明显，合成比例到1:1都没问题；有的信号本身信噪比低，合成比例超过0.5就开始掉点。

5.3 两个最容易忽略的工程细节

第一个是归一化方式。时序数据做合成增强前，一定要用训练集的均值方差做标准归一化，严禁在完整数据集上算归一化参数，否则会造成信息泄露，验证集性能虚高。这在不平衡场景下尤其致命，因为故障样本本来就少，一旦泄露，模型相当于提前见过验证集。

第二个是合成时机。在线的工业异常检测系统里，数据是源源不断进来的，故障样本积累也是动态的。如果你只在模型离线训练时一次性合成，等下次故障积累够了再重训，系统响应会非常迟钝。我现在比较推荐的做法是：把合成器作为一个模块固化在模型里，每次新一批故障样本确认后，用增量方式快速重训练一小轮，让合成器在新数据分布上微调。实测这种"随故障积累而持续合成"的方式，比一次性大批量合成在真实部署中可靠得多。

最后分享一个我个人觉得很有价值的扩展方向：把Deep Attention SMOTE的思路从单变量时间窗口扩展到多传感器通道。工业现场往往有十几个通道同步采集，不同通道对故障的敏感度差异巨大，通道级别的注意力权重有时比样本级注意力还重要。我在一套多通道振动数据上做过实验，仅增加通道注意力就让PR-AUC提升了约5个百分点，这指标在工业数据集上已经是很可观的收益了。如果你正在给时序不平衡问题做方案选型，这个方向值得认真考虑。