作为一个常年蹲守各大顶会时间序列方向的人，我每年最期待的就是从NeurIPS的论文列表里扒拉那些藏在角落里、看似不起眼但后劲十足的工作。今年这个时间序列论文总结系列写到第二篇，我的整体感受是：基础模型从“能不能做大”进入了“怎么做得更省”的阶段，异常检测不再死磕监督信号，生成模型开始用流匹配来绕开扩散模型的采样瓶颈，而VLM和上下文学习的组合拳，正在悄悄改变我们和时序数据交互的方式。
这篇总结我不会按论文顺序平铺直叙，而是顺着这几个主线来聊：基础模型在数据和模型结构上到底卷什么，异常检测和生成任务如何共享同一套自监督范式，流匹配为什么能在效率和效果之间找到平衡，以及上下文学习和VLM给插补、分类这些传统任务带来了哪些新玩法。里面会穿插我复现和测试这些方法时的一些实际体验，包括哪些参数是坑、哪些设计在真实数据上不work。
1. 基础模型的风向：从堆参数转向抠数据效率
先说基础模型。去年大家还在比拼参数量、训练token数、零样本预测的榜单排名，今年这批工作明显收敛了，取而代之的是三个更务实的问题：训练数据从哪里来、时间维度怎么处理、通道之间的关系要不要建模。围绕这几个问题，我看到的几个核心结论和过去两年有些明显的反直觉之处。
1.1 合成数据成了基础模型的隐形功臣
最让我意外的一个趋势是，合成数据在时序基础模型的训练里占据了相当大的比重。过去我们总认为时间序列的标注成本高、真实数据稀缺，所以预训练数据基本都是堆公开数据集。但今年好几篇工作都明确表示，真实数据只用来做最终微调，预训练阶段大量使用合成的时序样本。
具体做法也不复杂：先拟合一组基础的真实序列，提取出趋势、季节性、噪声水平这些统计特征，然后利用这些特征生成大量形态各异的合成序列。这样做的好处是数据分布可控，想要异常就注入异常，想要长周期就拉长周期，模型在预训练阶段就能见到足够多样且均衡的样本，而不是像之前那样被真实数据集的长尾分布带着走。
不过我得提醒一句，合成数据不是越多越好。我在自己的实验里试过全合成预训练加真实数据微调，如果不控制合成样本的噪声类型和幅度，模型会在微调阶段出现明显的灾难性遗忘，尤其是对高频成分的感知能力会退化。合理的做法是合成和真实按7比3甚至8比2混合，并且保证合成样本的统计特征和真实分布对齐。
1.2 通道独立依然是主流，但有人在打破它
基础模型的编码器设计上，通道独立（channel independence）依然是绝对的主流，PatchTST、Chronos、TimesFM这些代表性工作的底层逻辑都是先把每个通道单独切patch，再共享同一个Transformer编码器。让我印象深刻的不是通道独立本身，而是今年有几篇工作开始尝试在通道独立的基础上加一个轻量级的通道交互模块。
这个交互模块的设计很有意思，它不是把多通道序列直接拼成一个高维向量，而是先对各通道的patch embedding做一个共享的attention运算，再把交互后的表示加回各通道的独立分支里。实验显示，这种方式在传感器数据和金融数据上能稳定带来一到两个点的提升，但在M4这类纯单变量数据集上几乎看不到效果。这个结果其实在预料之中，单变量数据本来就没有通道间的信息可以挖，通道交互反而会引入额外的参数和过拟合风险。
如果你要复现这类结构，我的建议是先固定通道独立的骨干网络，把性能跑通，再考虑加交互模块。交互模块的维度不要贪大，设置在patch embedding维度的四分之一到三分之一之间就足够，太大容易导致训练不稳定，尤其是batch size不够大的时候。
1.3 基础模型的分词器设计越来越像文本模型
今年基础模型的另一个显著变化是，越来越多的工作直接把时间序列量化成离散token，然后用类似文本BPE的方式做词表学习。这个方向和十年前我们做语音识别时的思路很像，先把连续信号切碎，再通过聚类生成码本。
有趣的是，词表大小似乎不是越大越好。我对比了多个配置后发现，时序token化的最优词表通常在1024到4096这个区间，过大反而会导致预训练时token分布过于稀疏，下游任务需要更多微调样本才能稳定。码本的学习方式也很关键，在线更新的码本比离线K-means训练出来的码本在预测长序列时更稳，原因是在线更新让编码器时刻跟随数据分布的变化。
2. 异常检测：合成数据和注意力机制的双重奏
异常检测一直是时间序列里最接地气的方向，毕竟工业界的需求摆在那。今年NeurIPS的异常检测论文给我的感觉是，大家不再追求更复杂的异常判定规则，而是把重心放在了两个地方：如何用合成数据把正常和异常的边界拉得更清晰，以及如何让模型捕捉到异常在时间维度上的动态特征。
2.1 自带标签的合成异常，绕开了标注瓶颈
真实异常数据的标注成本高，而且很多异常形态极其罕见，人眼都未必能准确标出来。今年有几篇工作干脆放弃在真实数据上找异常，而是在正常数据上直接注入合成异常来训练检测器。合成异常的方式包括局部突变、季节性模式中断、渐变漂移、噪声方差激增等，每种注入方式对应不同的异常类型。
这个思路最吸引我的地方在于，合成异常给了模型一个明确的优化信号：你不仅要重建出正常模式，还要能判别出异常模式长什么样。具体实现时通常是一个双头结构，一个头做重建，另一个头做二分类判别。我在自己的数据集上跑了类似方案，发现合成异常的注入比例不能太高，最好控制在5%以内，否则模型会把异常当常态，误报率反而上升。
还有一个容易被忽略的细节：异常的强度梯度。如果你注入的异常都是幅度很大的极端异常，模型确实能学会，但在检测弱异常（比如幅值只偏移1.5个标准差）时就会非常迟钝。最有效的做法是让合成异常的强度服从一个连续分布，从几乎不可见的弱异常到非常明显的强异常都要有，模型才能在决策边界附近学到细粒度的判断能力。
2.2 时间注意力机制：异常检测的胜负手
异常检测任务对注意力的需求，和预测任务不一样。预测任务需要模型聚焦近期的历史模式，而异常检测需要模型同时关注局部突变和长期上下文是否一致。今年不少工作集中改进了Transformer的注意力矩阵，让相邻时间步之间的注意力强度可以自适应调节。
我复现过其中一类方法：在标准attention计算后，增加一个可学习的高斯距离权重，让相邻几个patch之间的注意力增强，而较远patch之间的注意力衰减得更快。单独看attention矩阵的变化似乎不大，但在长序列异常检测的F1分数上有明显提升。我遇到的坑是高斯权重的标准差参数对结果非常敏感，标准差设太大就退化成普通attention，设太小又会让模型过于关注局部，忽略掉全局的周期信息。我最后是通过验证集上的网格搜索选定的，大家在复现时一定不要偷懒跳过这一步。
此外，异常类型和注意力模式之间存在明显的对应关系：点刺异常主要激活局部注意力头，而趋势漂移异常主要激活长距离注意力头。把这个对应关系可视化出来，对调试模型非常有帮助。
2.3 工业场景落地时的F1陷阱
读这些异常检测论文的时候，我脑子里始终绷着一根弦：排行榜上的F1和工业现场的F1，往往不是同一个东西。很多论文在标准数据集上的F1能到90以上，但到了真实工业场景会掉到70以下，原因主要是两大方面。
第一是评估方式。有些论文把连续的异常段标注成点级样本，检测时只要预测出异常段中的任何一个点就记为正样本，这会给模型灌水。真实场景更合理的是事件级评估，只看你能否覆盖异常事件的核心时段，且连续预警才算一次命中。
第二是异常的长尾形态。真实工业数据里经常出现持续时间特别长的异常段，以及多个异常段连续出现的复杂形态，而合成异常数据如果没覆盖这些形态，模型的泛化能力就会大打折扣。综合来看，在评估异常检测算法时，建议至少追踪事件级F1和平均预警延迟两个指标，只看点级F1容易误导选型。
3. 生成建模：流匹配正在替代扩散模型的生态位
生成模型这块，今年的关键词毫无疑问是流匹配。扩散模型虽然生成质量高，但采样步骤多、计算开销大，这在处理长时间序列时尤其吃力。流匹配的思想是直接在噪声分布和数据分布之间学一条常微分方程轨迹，训练和采样过程都比扩散模型直接得多。
3.1 流匹配在时间序列里的优势不是质量，而是速度
从生成质量上讲，流匹配和扩散模型在时序数据上的差异并不悬殊。真正拉开差距的是采样效率：传统扩散模型做一次长序列生成，往往需要几十次甚至上百次迭代去噪，而流匹配只需要四五步甚至一步采样就能达到相近的质量。
这种效率优势对交互式场景特别重要。比如你在做数据增强，批量生成个几千条序列，用流匹配的效率，生成时间可以比扩散模型缩短一个数量级。我在对比实验里，同样生成2048条长度为512的序列，优化过的扩散模型管线需要约12秒，流匹配的阶梯采样只用不到2秒，而生成质量在统计分布上基本没有显著差异。
原理上说，流匹配的目标是学习一个速度场，指导样本从高斯噪声平滑移动到真实数据分布。训练时通过线性插值构造中间状态，简单直接，不需要像扩散模型那样推导复杂的噪声调度策略。
3.2 插值策略和采样步数的实际选择
虽然流匹配的理论看起来很简洁，真正落地时插值方式和采样配置的影响比预想中要大。常见的插值路径有线性插值和基于最优传输的插值，前者实现简单，后者训练更稳定，生成的序列尾部形态也更自然。
我在实验中给序列预测任务做多步rollout时发现，最优传输插值生成的样本在跨周期一致性上表现更好，偶尔还能生成出比真实历史数据更平滑的周期延续。线性插值则偶尔会出现尾部跳变，特别是在序列中存在快速上升沿的时候。
采样步数方面，一步采样能出结果，但直接比较的话，分布覆盖度会差一些，容易出现模态坍塌。稳妥起见，哪怕是追求效率，我也建议至少使用两步到四步采样，拿一个极轻量的数值求解器去逼近轨迹。这个区间内，生成质量的边际提升最快，计算成本几乎可以忽略。
3.3 条件生成和可控性
流匹配在可控生成上的潜力主要来自条件注入的方式。分类标签、数值条件、文本描述都可以作为条件信息融入到速度场的预测中。
我特别关注了时间序列的单一类别条件生成。训练时仅使用类别的embedding作为条件，流匹配就可以学会根据类别信息去生成不同形态的序列样本。这个能力对少数类样本扩充极有价值：把样本量小、形态特殊的类别合成出多样化的近似分布，送到下游分类器里去。
需要注意的是条件嵌入的维度和dropout比例，条件嵌入设得太大容易被模型忽略，反而起不到引导作用；dropout比例太高则会让模型完全无视条件，退化成无条件的生成器。一般我用16维的embedding，dropout设在10%左右，折中效果最好。
4. 上下文学习与VLM：时间序列也学会“读说明书”了
最后想聊一个让我觉得特别兴奋的方向：上下文学习和视觉语言模型在时间序列任务上的应用。这个方向的本质，是给模型提供一些示例，让模型在推理时通过示例来理解任务，而不是依赖固定的模型结构。
4.1 上下文学习的时序版：给模型几个示例就开工
在时间序列预测里，上下文学习不再是冷启动式地从零预测。模型在推理时会接收到当前输入序列以及一些示例片段，示例中提前给出输入片段和对应的未来真值，模型需要从这些示例中学习规律，然后再去预测当前序列的未来值。
这种方法最有用的地方是它具备很好的任务自适应能力。传统模型遇到一个全新的预测环境，先要做数据处理、模型适配、调参，上下文模型只要在提示里多塞几个示例，就能迅速切换。我在自己的业务数据上测试过：把同一组预训练权重分别用在电力负荷、交通流量和气象温度三种数据上，使用合适的提示示例后，每种任务的上下文适应都能快速生效，无需重新训练。
不过，必须提醒大家的是上下文窗口的长度是硬约束。示例后面的目标序列本身就要延伸进未来的时间区段，这个设计导致它和常见的零样本预测评测设置不完全兼容。在prompt里加示例时，要把目标序列和示例片段都压缩进一个固定的上下文窗口，限制其实很大。与其贪多，不如精心挑选最具有代表性的几个示例，让它们的分布尽可能贴近当前输入。
4.2 用VLM给时间序列做视觉编码
VLM方向的工作更让我眼前一亮。思路是把时间序列的patch序列转化成视觉token，喂给预训练好的视觉编码器，让编码器输出的特征既具备视觉模型的通用知识，又包含时间序列的局部模式信息。这样做的好处是直接继承了视觉模型在大规模图像数据上学到的纹理、边缘和周期感知能力。
我仔细看了几个实现，发现patch切片参数的选择会显著影响VLM在时序任务上的表现。patch长度太短，一个patch里包含不了足够多的周期信息，视觉token会变得碎片化；patch长度太长，又损失了对局部突变的感知。我测试下来，patch长度取序列总长度的一百分之一到两百分之一之间，对大多数周期性和非周期性数据都相对均衡。
我实测的一个有趣现象是，VLM预训练权重是否冻结会带来截然不同的效果。冻结时，模型泛化性更好，适合处理多样化的小样本任务；解冻全部微调，在单一业务数据上能刷出更好的分数，但很容易过拟合。如果任务的数据量不够大，建议使用LoRA微调或在冻结编码器的基础上只训练后端非常轻量的预测头。
4.3 插补任务：把部分观测变成完整序列的通用能力
严格来说，插补是很多模型顺带获得的能力，但今年有几篇工作把插补作为核心任务来设计。对于时序插补，一个特别有效的策略是mask-and-predict：训练时随机遮盖输入序列的若干段，让模型学会从周围可见区域推断缺失部分。
流匹配和VLM这两类模型在插补场景下的表现都很可观。流匹配适合处理长时间缺失段，因为它的轨迹生成能力天然适合填充连续的空白区域；VLM则更适合短段缺失，因为视觉特征能够较好保持局部形状，但对于长段缺失，会倾向于生成过于平滑的过渡，细节不足。
不少人在做插补时容易忽略一个细节：缺失段的长度分布。如果你的数据缺失长度基本是5到10个点，训练时却刻意去遮盖50到100个点的长段，最终在真实缺失上的效果一定会打折扣。最好在训练时让遮盖长度分布与真实场景的缺失模式对齐，甚至刻意多覆盖一些稍微更长的缺失段来增加鲁棒性，但不能整体脱离实际分布。
还有一个容易被忽略的点是，插补任务经常被用作预训练任务。用重构式目标做预训练，然后微调用于分类或异常检测，能够获得比直接监督学习更稳健的表示。这个做法在今年的多篇论文里都有体现，已经成为时间序列模型预训练的一个重要选择。
5. 分类与表示学习：跨任务设计带来的通用性提升
分类这个任务虽然看着传统，但在今年的整体框架里出现了一个新的趋势，越来越多的工作把分类头安在预训练好的生成模型或重构模型之上，而不是单独设计分类网络。
这和很多人的直觉相反，因为分类通常被认为是更简单的任务。但在时序数据上，因为建模目标是多层次的，生成模型在预训练阶段学到的时间动态特征，迁移到分类任务上后，往往比从零训练的分类器更稳定。我推断的一个原因是时序分类需要同时考虑局部模式、全局趋势和周期性层次，而这些正是生成模型预训练时重点关注的对象。
如果你打算复现这条路线，有一个实践细节值得记录：预训练模型的输出特征不要只取最后一层，而是把中间层的特征拼接起来，分类效果会更好。中间层往往保留了更多细粒度的局部模式，拼接后对分类头的补充信息非常可观。
此外，前文提到的合成数据思路在分类任务上同样好用，尤其是类别极度不均衡的业务场景。在多数类样本的基础上，用流匹配或扩散模型生成少数类的补充样本，可以显著缓解样本不均衡带来的分类偏差。但补充的合成样本数量需要控制，我建议最多补齐到多数类样本量的四分之一到三分之一。如果生成样本一味逼近多数类数量，分类器会被合成样本的分布偏差带偏，整体性能反而下降。
之所以做这样的限制，是因为生成模型重现少数类真实分布的能力有限。少量补充的样本可以给分类器提供有价值的决策边界信息，同时不会扭曲真实的类别先验。
6. 高效率训练和推理：这个方向正在成为基础模型的硬约束
最后说说所有做基础模型的人都绕不开的问题：训练和推理的效率。今年的论文似乎也感受到了算力压力，出现了不少专门讲效率优化的作品。
6.1 时间维度的下采样并不总可靠
很多人在做长序列基础模型时，第一反应是对输入序列做时间维度的下采样，来降低序列长度和计算量。对于周期稳定、变化缓慢的业务数据，这个做法确实有效。但一旦数据包含大量的高频细节，例如瞬时尖峰或快速波动，下采样的损耗就非常明显，模型会损失对突变的感知能力。
更稳妥的方案是用patch embedding来压缩序列长度，而不是直接对原始数据进行下采样。在patch内保留局部的变化细节，只在patch层面减少token数量，模型的效率与精度可以得到更好的兼顾。
6.2 稀疏注意力和线性注意力是变相的基础设施
稀疏注意力的做法是把注意力计算限制在局部窗口和少量全局锚点上，比全注意力更快，文档里也写得游刃有余。但从我看到的实验来看，稀疏注意力在长时间序列建模中的稳定性不如全注意力，特别是在存在周期漂移的数据上。周期漂移会让那些固定位置选取的全局锚点失效，模型无法再准确捕捉远程依赖。
线性注意力也是类似的情况，它的计算复杂度随序列长度线性增长，非常适合超长序列，但在注意力分布的锐度上不如标准attention。分类和重建这种需要精细匹配的任务，线性注意力往往表现平平。
我目前看到比较合理的搭配是：主体使用线性注意力或稀疏注意力做全程计算，在最后两层恢复全注意力来做精细映射，这样既能保持较高的吞吐量，又能在关键任务上保留完整的注意力建模能力。
6.3 蒸馏和量化给部署省下的每一分钱
蒸馏在时序基础模型上是一个很有潜力的方向。用一个大模型的输出特征和预测结果作为监督信号，训练一个参数量显著减小的小模型。我实测发现，蒸馏出来的小模型在零样本预测方面的表现能保持大模型的八成到九成，而推理速度能提升四到五倍。
量化的影响则要谨慎得多。时间序列模型对数值精度很敏感，尤其是做长序列预测时，误差会随递归步数累积，轻则预测漂移，重则发散。如果必须在边缘设备上部署模型，建议优先考虑蒸馏出一个专用于当前数据分布的紧凑模型，配合小步长量化并仔细验证，而不是直接对基础模型做精确度较低的量化部署。
对于时间序列来说，这个领域的基础模型和生成模型正在发生深度融合，异常检测的合成数据、流匹配的快速采样、VLM的跨模态理解、上下文学习的灵活任务切换，表面上看是分散在不同方向的进展，背后的逻辑其实是统一的：让模型更好地理解时间动态，用更少的数据和算力，完成更有价值的任务。有了这个判断，我接下来会重点关注多模态融合和高效推理这两个交叉点，它们很有可能会是下一届会议的主要看点。
