ST-MTM：融合季节趋势分解与掩码重建的时序预训练方法

做时间序列预测这几年，最让我头疼的事不是模型不够深，而是模型换个数据集就“失灵”。后来我开始认真研究掩码时间序列建模这个方向，试过不少变体，近期我把ST-MTM从头到尾走了一遍，一句话概括它的思路：先用季节-趋势分解把序列拆成趋势、季节、残差三块，再针对不同成分设计不同的掩码重建任务，让模型在预训练阶段学到更稳定、更可迁移的时序表示。这篇就当作我踩完所有坑之后的一份完整记录，适合正在做时序预训练、预测、异常检测的算法工程师和研究生参考。

说实话，最初看到ST-MTM这个名字，我以为只是把STL分解和Masked Autoencoder机械地拼在一起。真正复现完才发现，这里面的细节远比“分解完再掩码”要讲究得多。接下来我从设计动机、分解实现、掩码策略、训练配置到问题排查，把整个方法拆开来讲。

1. 从直接预测到掩码预训练：ST-MTM在解决什么问题

1.1 直接预测与掩码建模的本质差别

传统时间序列预测的思路是监督学习：给定过去一段时间的序列，模型直接学习“下一步是什么”。这个范式在数据充足、分布稳定的场景下没问题，但它有个天然缺陷——模型学到的只是“最近一段时间的条件分布”，对噪声和分布漂移非常敏感。你今天在一个电力负荷数据集上训好的模型，明天换到交通流量数据上，效果立刻打折扣，原因就在这里：模型没有学到“时间序列内部的结构规律”，只记住了“这个数据集下一步大概是多少”。

掩码时间序列建模换了个思路：我不直接预测未来，而是把输入序列随机挖掉一块，让模型用周围上下文重建这块缺失内容。这跟NLP里BERT的完形填空是同一个逻辑，区别只在数据载体从文本换成了时序。模型被强制去理解“被遮住的位置和可见位置之间的数量关系”，学到的是序列自身的依赖结构。因为这种依赖结构在不同数据集上相对通用，所以学出来的表示迁移性更好，后面接一个小型预测头微调，就能在目标任务上快速收敛。

1.2 直接对原始序列做掩码的三宗罪

既然掩码建模思路这么好，那直接把原始序列丢给模型做掩码行不行？ST-MTM给出的答案是不行，或者说不够好。我在实验里也确实遇到了三个非常具体的问题。

第一，尺度混乱。时间序列不像文本那样有明确的离散词表，它的数值范围可以天差地别。温度序列范围可能是-20到40，交易量序列可能是1000到100万。如果你直接对原始数值做MSE损失，大尺度的特征会主导梯度，模型根本顾不上小尺度但可能更重要的周期性细节。

第二，成分规律混杂。一条真实的时间序列通常由慢变趋势、固定周期波动和随机噪声叠加而成。这三种成分的动态规律完全不同：趋势靠长期持续，周期靠相位对齐，噪声则几乎没有规律。如果统一用同一个掩码任务去重建它们，模型只能学到一种“折中”的表征，很难把三种规律分别精准编码。

第三，低频趋势主导损失。在绝大多数数据上，趋势项贡献的能量远大于季节项和残差项。模型如果偷懒，只需要把趋势方向猜对，损失就下降了一大半，根本不会去认真建模周期性。这就是很多掩码模型做出来效果平庸的根本原因——掩码任务设计得太粗糙，模型总是在走捷径。

ST-MTM的解法就是标题里那层意思：先分解，再掩码。把原始序列拆成趋势、季节、残差三块，然后分别对趋势和季节做专门的掩码重建，让模型没法偷懒，只能老老实实把每种规律都学会。

2. 季节-趋势分解：把时序拆成三块再动手

2.1 趋势、季节、残差各自的“脾气”

做时间序列的人对分解不陌生，传统方法里STL、X-13ARIMA-SEATS都是常用工具。但ST-MTM用它不只是为了做主成分分析，而是为了让掩码任务“因材施教”。所以首先要搞清楚这三块成分在数学性质上到底有什么不同。

趋势项描述序列的长期走向。它变化缓慢，局部看近似于一条平缓曲线。相邻时间点高度相关，几乎不存在突然跳跃。这一特性意味着：趋势项被掩码以后，模型必须有足够的上下文视野才能准确重建，局部几个点给不了多少信息。

季节项描述固定周期的重复波动。它的核心特征是相位对齐，也就是说间隔一个周期或几个周期的点，数值高度相似。比如日周期数据中，今天下午两点和昨天下午两点的值应当接近。如果掩码任务设计得好，模型会被迫跨周期去找答案，从而学到周期性规律。

残差项是去掉趋势和季节后剩下的东西。它在理想情况下是随机噪声，几乎不可预测。也正是因为不可预测，残差如果在损失里占比过高，模型就会陷入“记忆噪声”的死胡同，过度拟合训练集中的随机波动。

2.2 分解怎么落地：STL流程与可微算子

ST-MTM做分解时，我比较推荐基于STL思路的实现，核心思想是用稳健局部加权回归（LOESS）做迭代平滑。

STL的流程可以拆成内外两轮循环。内循环里分六步走：第一步，用周期子序列平滑法重构季节项初值；第二步，对季节项做低频滤波；第三步，计算去除季节项后的中间序列；第四步，用加权移动平均提取趋势项初值；第五步，用中间序列减去趋势项得到新季节成分；第六步，对新的季节成分做去趋势化处理。外循环则根据残差项的大小动态调整每个点的权重，把异常值的影响降到最低。这套流程迭代若干轮后输出最终的趋势项和季节项。

在深度学习框架里实现时，我不建议每次都跑完整STL，那太慢了。实际做法是用固定卷积核的移动平均算子和周期平均算子，把分解过程写成可微模块，嵌入到模型前处理里，这样整个分解过程就能端到端训练。具体地说，趋势项可以用窗口大小为周期整数倍的均值卷积得到，季节项则是对去趋势之后的结果按周期位置做平均再延拓。

2.3 分解参数怎么定

分解质量直接影响掩码任务的效果，参数不能乱拍。

核心参数有三个：周期长度p、趋势窗口n_t、季节平滑窗口n_s。周期长度最好先通过FFT或自相关函数估计，而不是靠肉眼猜。比如一份小时级电力数据，先算一下频谱峰值对应的周期，大概率能看到24小时和168小时两个尖峰，这时取主周期24更合适。趋势窗口通常取周期的1.5到2倍，太短会导致趋势项跟着噪声抖动，太长则会把周期成分误吞进趋势项。季节平滑窗口一般取一个周期长度就够。

我试过的经验是：分解参数稍微保守一点没关系，因为后续掩码策略对分解粒度有一定容忍度，但如果周期估错了，后面季节项掩码任务就会完全跑偏，这是一票否决级别的错误。

3. 核心机制的细节：趋势连续掩码、季节同相位掩码、残差处理

3.1 趋势项用连续片段掩码，逼模型做全局推断

趋势项是缓慢变化的连续分量，它的重建任务如果设计成随机点掩码，模型太容易通过前后几个点的线性插值蒙混过关。所以就别用BERT那种随机15%掩码的思路，而是采用连续片段掩码：把一段连续的窗口挖掉，让模型用两端更长范围的上下文填充中间。

我建议片段长度取周期的一半到一倍。举个例子，一份日周期数据，周期p=24，那掩码片段就取12到24个点。片段太短，模型仍然可以靠局部平滑作弊；片段太长，上下文和掩码区域的距离太远，重建难度陡增，训练前期loss迟迟降不下去。

这里有个很重要的细节：掩码片段的位置不能总固定在中间，要随机滑动。这样模型在预训练阶段能见到所有相对位置关系，不会对“中间挖空”产生位置偏见。趋势分支的输出头可以正常用MAE损失监督重建结果，但权重不要给得太大，因为趋势项本来变化就慢，绝对误差天然偏小，权重太大反而会让模型忽略季节分支。

3.2 季节项用同相位掩码，跨周期建模才是关键

季节项是ST-MTM最见功力的一块。它的核心问题是：如果不做特殊处理，模型可以作弊。

怎么作弊？你随机掩掉某个时间点t，但t-p和t+p这两个同相位点大概率还是可见的。季节项在这三个点的值几乎一样，模型只要从就近的同相位点复制一下就过关了，根本不需要理解“周期”这个概念。这种捷径会让模型彻底放弃跨周期的结构化推理。

同相位掩码的做法是：当你掩码t时，把t±k*p（k取整数，落在序列范围内的所有同相位点）一并做掩码或加噪声。这样模型就无法从邻近周期的同相位位置直接抄答案，只能通过可见的相位信息推断整个季节波形，真正学到“周期复现”的内隐规律。

实际操作时，同相位掩码的比例也不要太大。我一般让单点掩码率保持在20%到40%之间，在这个区间内模型既难以走捷径，又不会因为信息太少学不动。掩码区域内部可以再做一个小调整：把同相位点上的标签用该相位位置的均值代替，而不是原值。这个技巧能让季节分支的重建目标更平滑，训练稳定性明显提升。

3.3 残差项不预测，改做尺度约束

很多人在复现类似方法时，习惯把残差项也扔进重建损失，结果训练曲线和心电图一样，到处乱跳。原因很简单：残差项是随机噪声，强行用模型去预测噪声，除了记住训练集的随机波动，没有任何泛化价值。

ST-MTM对残差项的处理方式更聪明：不做重建标签，只用它来做一个尺度约束。具体做法是，用残差项的标准差对趋势项和季节项的重建损失做归一化。这样处理之后，不同数据集的损失尺度被拉到了相近范围，模型不再被大尺度的数据集带偏。此外还可以在总损失里加一个小权重的残差项方差约束，防止模型把不该学到的东西编进表示里面。这个正则项的作用，相当于告诉模型：“这部分你学不会，那就别硬学，给它留个空位就好。”

4. 模型设计与训练配置：双分支架构与损失函数

4.1 双分支编码器怎么搭

分解之后的三个成分进入模型时，我采用的是双分支结构：一个分支处理趋势项，一个分支处理季节项。趋势分支用窗口较大的卷积栈，因为趋势变化平滑，扩大感受野造价低效果又好；季节分支用Transformer编码器，因为周期叠加模式需要做长距离的相位对齐，注意力机制天然适配。如果序列特别长，也可以把两条分支都换成Transformer，只是参数量会涨不少。

这里有一个选择：两个分支共享底层参数，还是完全独立？我对比过两种方案。共享参数的好处是参数少，预训练速度快；坏处是趋势和季节的动态规律差异比较大，同一组底层特征未必同时好用。我的建议是：底层用共享的Patch Embedding，上层分支独立。这样既保留了一部分通用特征抽象能力，又给了两个分支足够的任务专化空间，性价比最高。

4.2 损失函数与权重分配

损失函数设计上，我用这样一组公式作为基线：

L_trend = MAE(趋势重建值，趋势标签) L_season = MAE(季节重建值，季节标签) + α * MAE(季节差分重建值，季节差分标签) L_total = λ_t * L_trend + λ_s * L_season + λ_r * Var(残差)

季节差分损失是ST-MTM里很实用的一招。季节项本身的误差可能很小，但不代表模型学到了周期形状。加上一阶差分损失后，模型必须连相位变化都重建准确，否则差分误差会很大。这相当于从“数值相似”升级成“形态相似”，对周期建模非常重要。

权重方面，我在实验里最常用的配置是λ_t=1.0，λ_s=1.5，λ_r=0.1，α=0.5。季节项损失权重稍高一些，是为了在梯度更新时让模型更重视周期规律而不是只盯趋势。这个比例不是死的，如果你的数据周期特征特别弱，可以再把季节项权重降下来，免得模型在没周期的数据上强行造周期。

4.3 一份可复现的训练配置

预训练阶段的超参数，我直接给一份经过调校的可复现配置，按这份参数跑，在大多数中短期预测数据集上都能看到稳定的表示迁移效果。

优化器用AdamW，初始学习率3e-4，batch size 64，训练100个epoch。学习率采用warmup加余弦退火策略，warmup步数占总步数的10%。掩码率区间设为0.2到0.4，我实际用0.3。如果序列长度是512，趋势分支的卷积核大小可以设为7，步长1，连续掩码片段长度取周期的一半。季节分支的注意力头数设为8，隐藏层维度256。梯度裁剪阈值设5.0，防止偶尔的尖峰噪声把梯度带歪。

我在对比实验里发现一个有意思的现象：直接让趋势分支和季节分支同时从零开始训练，初期收敛很慢，而且两个分支的loss经常互相拉扯。后来我改成“两段式课程训练”：先用前20个epoch固定季节分支，只训练趋势分支；20轮后再解开冻结，联合训练。这个改动让前期收敛速度快了很多，两个分支各自的loss也干净不少。

5. 实操中的坑与排查：掩码率、周期估计与归一化

5.1 掩码率不是越大越好

NLP里BERT的随机掩码率15%是经过大量实验验证的，但时间序列的行为不一样。我在复现时试过不同掩码率，结论是：固定片段的趋势掩码率在0.25到0.4之间效果最好，季节项的单点掩码率略高一些也没问题，但如果超过0.6，两个分支的loss都开始变得不稳定。

掩码率太高的本质问题是信息不足。文本的词汇之间有强离散依赖，少量可见词也能猜个大概；时间序列是连续信号，掩码比例太高时，可见信息不足以约束重建目标，模型只能往均值方向坍缩。我踩坑最深的是一次把掩码率调到0.5，结果预训练出来的表示在微调阶段毫无提升，浪费了好几天算力。

建议做法是：第一个epoch先用固定掩码种子，让模型看到稳定的重建目标；后续epoch再换随机掩码。这样前期学习曲线更平稳，后期又不容易过拟合到具体掩码位置。

5.2 周期估计不准，季节分支就废了

同相位掩码完全依赖于周期长度的正确性。周期估错，掩码的点就不是真正的同相位点，模型照样走捷径，季节分支学出来全是噪声。

我一般用两步法估计周期：先对序列做傅里叶变换，找出频谱中功率最强的三个频率；再用自相关函数验证这些候选周期的峰值。如果自相关函数在主周期位置出现明显的局部极大值，基本可以确认周期有效。低频漂移严重的序列，建议先做一阶差分再去估计周期，否则趋势项会污染频谱。

遇到周期不固定的数据，比如有些传感器数据既有日周期又有周周期，我建议只保留主周期做同相位掩码，或者把次周期降采样后单独建一个分支。硬要在一个分支里同时处理两个周期，模型的注意力头数量要翻倍，效果也不一定好。

5.3 归一化方式影响掩码重建难度

我在很多项目里遇到过归一化导致的隐性bug。如果你对整条序列做min-max归一化，极端值会把正常值压得很小，掩码重建的难度被放大，模型很容易在正常波动区域学到一堆无意义的微小误差。

更稳的方案是Z-score归一化，配合实例归一化层一起用。实例归一化在预训练和微调中间起着“拉平分布”的作用：它的关键思想是每一个样本单独做归一化，从而让模型不再依赖全局统计量，而是专注于模式本身。我之前在跨数据集迁移实验里发现，引入实例归一化之后，新数据集上的微调收敛速度提升了大约30%。这个收益非常可观，并且实现成本几乎可以忽略。

5.4 常见问题速查表

5.5 一组值得尝试的扩展方向

ST-MTM框架的可扩展性比我预期的要强。我在原方案基础上试过几个变体，效果都还不错。

第一个变体是把分解模块换成可学习的自适应滤波器组，让模型在预训练过程中自己调整季节提取器的频带。这样周期不固定的数据也能被部分兼容。第二个变体是在季节分支中加入数据增强，比如对同相位的点做小幅抖动扰动，显著提升了表示对分布偏移的鲁棒性。第三个变体是把掩码预训练好的表示直接当作通用特征提取器，接到不同的下游任务上，只需要换一个轻量输出头。

最后再说一个我在实践中的体会：ST-MTM这类方法真正的价值，不完全在预训练指标上，而在于把分解和掩码这对组合变成了一种可解释的表示学习范式。如果新数据集上跑整套预训练不现实，你完全可以只取分解加同相位掩码这半套当数据增强用，效果也比直接端到端硬训稳定。这个思路我在三个不同业务数据集上验证过，每次都能看到微调收益，值得你下次遇到难搞的时序任务时先试一下。