贝叶斯优化Transformer-LSTM的模型结构图

1. 数据预处理与特征工程

在进入模型之前，必须将原始数据转化为适合混合架构的格式。

• 归一化 (Normalization)：对时间序列数据进行 Min-Max 缩放或 Z-Score 标准化，以加快收敛。
• 滑动窗口拆分 (Sliding Window)：将长序列切割成固定长度的输入块 （过去的时间步）和标签 （预测的时间步）。
• 维度转换：调整张量形状以符合 Transformer 的输入要求，通常为[batch_size, seq_len, input_dim]。

2. 构建 Transformer-LSTM 混合骨架

搭建我们在前一张图中看到的模型结构。

• Transformer 层：通过多头注意力提取全局特征。
• LSTM 层：接收 Transformer 的输出，捕捉短期时序依赖。
• 全连接输出层：映射到最终的预测维度。

3. 定义超参数搜索空间 (Search Space)

这是贝叶斯优化的关键。你需要确定哪些参数对性能影响最大，例如：

• Transformer 参数：Head 数量、Layer 数量、Dropout 率。
• LSTM 参数：Hidden Units（隐藏单元数）。
• 优化参数：学习率 (Learning Rate)、Batch Size。

4. 贝叶斯优化核心循环

贝叶斯优化不同于随机搜索，它通过“学习”之前的经验来寻找最优解。

其具体执行步骤如下：

1. 定义目标函数 (Objective Function)：输入一套超参数，运行模型训练，并返回验证集上的损失（如 RMSE 或 MAE）。
2. 构建代理模型 (Surrogate Model)：通常使用高斯过程 (Gaussian Process)或TPE (Tree-structured Parzen Estimator)。它会建立超参数与模型表现之间的概率模型。
3. 采集函数 (Acquisition Function)：利用策略（如期望改善 EI）决定下一步测试哪组参数，平衡“探索”（尝试新领域）与“利用”（深挖已知优秀领域）。
4. 迭代更新：

• BO 建议一组参数 训练模型 获取 Loss 更新代理模型。

5. 最佳模型训练与验证

当达到设定的迭代次数或收敛后：

• 提取最优参数：获取 BO 找到的最佳参数组合。
• 重新训练：使用全量训练集和这组最优参数训练最终模型。
• 测试评估：在完全未见的测试集上评估模型的泛化能力。

实现步骤总结表