用于时空预测的高效学习预测表示

论文基本信息

一、研究背景与核心挑战

1.1 时空预测的重要性

时空预测 (Spatial-Temporal Forecasting) 广泛应用于：

• 交通领域— 道路流量预测 (PEMS系列)
• 能源领域— 风电功率预测 (SDWPF)
• 气候领域— 温度/湿度预测 (WeatherBench)

1.2 自监督学习在时空数据上的三大挑战

论文指出了现有自监督方法应用于时空数据 (STS) 时的关键问题：

图1 直观对比了三种表示学习范式：

(c.1) 对比学习: 需要构造正/负样本对 → 易受同质性误导 (c.2) 掩码重建: 仅重建当前值 → 忽略空间关系 (c.3) ST-ReP (本文): 重建当前值 + 预测未来值 → 显式建模空间关系

二、核心贡献

三、方法详解

3.1 整体框架 (图2)

┌─────────────────────────────────────────────────────────┐ │ 预训练阶段 (Pre-training) │ ├─────────────────────────────────────────────────────────┤ │ 输入: X^curr (当前时空序列, 带掩码) │ │ ↓ │ │ ST-Embedding (投影 + 时空嵌入) │ │ ↓ │ │ ST-Encoder (C-E-D结构) │ │ ↓ │ │ 表示 Z ∈ R^{N×T×d} │ │ ↙ ↘ │ │ Decoder_recon Decoder_pred │ │ (重建器) (预测器) │ │ ↓ ↓ │ │ X̂^curr X̂^tgt │ │ (重建当前值) (预测未来值) │ │ ↘ ↙ │ │ 多尺度损失 L_MS + L_recon + L_pred │ ├─────────────────────────────────────────────────────────┤ │ 下游任务阶段 (Downstream) │ ├─────────────────────────────────────────────────────────┤ │ 输入: X (完整历史序列) │ │ ST-Embedding → ST-Encoder → 表示 r_{:,t} │ │ ↓ │ │ 线性回归 (Ridge Regression) → 预测 Ŷ │ └─────────────────────────────────────────────────────────┘

3.2 ST-Embedding 模块

两步投影策略：

1. Projector₁(两层MLP + ReLU): 将原始数据映射到隐藏空间
2. 添加时空嵌入:
   • EtodE^{tod}Etod— 时间-of-day 嵌入 (周期为T的可学习参数)
   • EdowE^{dow}Edow— 星期几嵌入 (周期为7的可学习参数)
   • EsptE^{spt}Espt— 空间索引嵌入 (变量身份标识)
3. Projector₂(一层等宽卷积): 增强语义密度

关键设计：即使掩码部分，时空嵌入仍然存在，模拟真实数据缺失场景。

3.3 C-E-D 时空编码器 (核心创新)

这是论文最核心的架构设计，如图3和图4所示：

┌─────────────────────────────────────────────────────────┐ │ Compression-Extraction-Decompression │ │ (压缩-提取-解压) │ ├─────────────────────────────────────────────────────────┤ │ │ │ E ∈ R^{N×T×d} │ │ ↓ │ │ ┌─────────────┐ Temporal Compression (时序压缩) │ │ │ Comp_tpr │ MLP: T → p (p为小常数, 如3) │ │ │ R^{N×T×d} → R^{N×p×d} │ │ └──────┬──────┘ │ │ ↓ │ │ ┌─────────────┐ Spatial Extraction (空间提取) │ │ │ 线性注意力 │ 基于Proxy Tensor的MHA │ │ │ R^{N×p×d} → R^{N×p×d} │ │ └──────┬──────┘ │ │ ↓ │ │ ┌─────────────┐ Temporal Decompression (时序解压) │ │ │ Decomp_tpr │ MLP: p → T │ │ │ R^{N×p×d} → R^{N×T×d} │ │ └──────┬──────┘ │ │ ↓ │ │ Z ∈ R^{N×T×d} (残差连接: Z = Output + E) │ │ │ └─────────────────────────────────────────────────────────┘

空间提取的线性注意力机制 (图4):

Hp=MHA1(Pw,Ecomp,Ecomp)∈Rm×dH^p = \text{MHA}_1(P_w, E^{comp}, E^{comp}) \in \mathbb{R}^{m \times d}Hp=MHA1​(Pw​,Ecomp,Ecomp)∈Rm×d
H′=MHA2(Ecomp,Hp,Hp)+Ecomp∈RN×dH' = \text{MHA}_2(E^{comp}, H^p, H^p) + E^{comp} \in \mathbb{R}^{N \times d}H′=MHA2​(Ecomp,Hp,Hp)+Ecomp∈RN×d
H=FFN(H′)+H′∈RN×dH = \text{FFN}(H') + H' \in \mathbb{R}^{N \times d}H=FFN(H′)+H′∈RN×d

其中Pw∈Rm×dP_w \in \mathbb{R}^{m \times d}Pw​∈Rm×d是可学习的Proxy Tensor（代理张量），作为查询向量：

• MHA₁: Proxy 作为Query，压缩特征作为Key/Value → 提取全局语义摘要
• MHA₂: 压缩特征作为Query，Proxy输出作为Key/Value → 还原到原始token数

复杂度分析：

• 标准自注意力:O(N2)O(N^2)O(N2)
• Proxy注意力:O(N⋅m)O(N \cdot m)O(N⋅m)，其中m=8m=8m=8为常数 →线性复杂度

3.4 重建与预测联合损失

三个损失函数：

总损失：
Ltotal=αLrecon+βLpred+γLMS\mathcal{L}_{total} = \alpha \mathcal{L}_{recon} + \beta \mathcal{L}_{pred} + \gamma \mathcal{L}_{MS}Ltotal​=αLrecon​+βLpred​+γLMS​

关键洞察：多尺度分析仅在损失计算中引入，不增加编码器复杂度。使用不同大小的平均池化核Ω={2,4,8,16}\Omega = \{2, 4, 8, 16\}Ω={2,4,8,16}提取粗粒度时间信息。

四、实验验证

4.1 数据集

*CV = 变异系数，反映数据波动性，越高越难预测

4.2 对比方法 (12个基线)

4.3 核心结果 (Horizon=12, 表2)

关键发现：

• PEMS04/08: ST-ReP 比次优自监督方法平均提升19.97% (MSE) / 11.25% (MAE)
• SDWPF: 提升0.60% / 1.87%（CV最高数据集，提升空间有限但仍是最佳）
• 气候数据集: T-Rep略优（趋势主导，T-Rep的时间模块更强）
• CA数据集:所有基线OOM，仅ST-ReP可运行→ 证明可扩展性

4.4 效率分析 (表3)

• 内存最小: 比ST-SSL节省45%，比GPT-ST节省67%
• 速度最快: PEMS04上比ST-SSL快14%，Humidity上快50%
• 唯一可扩展至8600节点: 线性复杂度设计的关键价值

4.5 消融实验 (图5)

关键洞察：即使去掉ST-Encoder，模型仍能与最佳基线竞争 →损失函数设计本身提供了强监督信号

4.6 超参数敏感性 (图6-7)

时序压缩空间大小 p (图6):

• p=3 时性能最优
• p 过小 → 信息丢失；p 过大 → 引入冗余
• p为常数即可，不随数据规模变化

空间代理张量大小 m (图7):

• m 从1到64变化，性能几乎无显著波动
• 说明模型对 m 不敏感，固定 m=8 即可
• 增加 m 仅增加计算成本，不提升性能

五、与第一篇论文 (TII-CFB) 的对比分析

两篇论文的互补性：

• TII-CFB 展示了工业场景中时空建模的必要性和有效性
• ST-ReP 展示了大规模场景中高效时空表示学习的可能性
• 两者都强调了空间关系在时空预测中的核心地位

六、结论与展望

主要结论

1. 重建+预测联合预训练优于纯重建或纯对比学习
2. C-E-D结构在保持线性复杂度的同时有效捕获时空关系
3. 轻量化表示(d=64) 即可达到SOTA，语义密度高
4. 多尺度损失在不增加编码开销的前提下提升长程预测能力

未来工作

• 探索不同时空挖掘模型与自监督学习的融合策略
• 研究预训练输入/输出长度对下游任务的影响
• 提升表示在多样化下游任务上的泛化能力

技术启示

“在资源受限场景下，学习紧凑且语义密集的表示，比追求复杂模型更有价值”

ST-ReP 的核心哲学与当前大模型趋势形成有趣对比：在特定领域（如时空预测），通过精巧的架构设计和损失函数，小模型+好表示可以超越大模型+端到端训练。