MATLAB实现基于BMA-SVR 贝叶斯模型平均（BMA）结合支持向量回归（SVR）进行股票价格预测的详细项目实例
请注意此篇内容只是一个项目介绍 更多详细内容可直接联系博主本人
或者访问对应标题的完整博客或者文档下载页面（含完整的程序，GUI设计和代码详解）
随着各类复杂系统的数字化和智能化水平不断提升，多变量时间序列数据已经渗透到工业生产监控、电力负荷管理、交通流量预测、环境气象监测、金融量化分析等众多场景。多变量时间序列与单变量时间序列的最大差异在于，各变量之间往往存在显著的交互影响和潜在相关结构，单纯依靠传统的自回归模型或简单的统计方法，难以充分挖掘这种高维依赖关系。实际系统中，观测变量数量往往较多，采样频率高，时间跨度长，数据中充满了非线性、非平稳、噪声干扰以及外生干扰因素，使得预测问题变得极具挑战性。
在工业场景中，生产系统由多个传感器构成的监控网络连续采集温度、压力、流量、振动、电流等信号，这些信号既存在明显的时间依赖，又有复杂的跨变量耦合。如果只针对单一变量建模，就难以捕捉不同工艺参数之间的调节关系，容易导致预测滞后或波动过大。金融市场中，股票价格、成交量、利率、汇率等指标共同决定了资产的走势，局部变量的剧烈变化往往与其他变量的缓慢变化共同作用，单一模型难以兼顾短期波动与长期趋势。电力系统负荷预测中，历史负荷、温度、湿度、节假日信息、产业结构变化等因素交织在一起，需要模型具备较强的非线性拟合能力与多尺度模式识别能力。
在深度学习快速发展的推动下，卷积神经网络、循环神经网络以及注意力机制被广泛引入到时间序列建模领域。其中，时间卷积网络（Temporal Convolutional Network, TCN）通过因果卷积与空洞卷积的组合，在保证不使用未来信息的前提下，利用扩大的感受野覆盖较长历史窗口，具有并行度高、梯度传播稳定、适合长序列建模的优势。而长短期记忆网络（LSTM）通过引入输入门、遗忘门和输出门机制，有效缓解了传统RNN的长期依赖问题，适合对较长序列进行状态记忆与更新。另一方面，Transformer架构引入自注意力机制，可以在同一层中捕捉全局范围内的依赖关系，尤其适合处理存在多尺度相关和跨变量交互的高维时间序列，自注意力能够对不同时间步和不同变量分配自适应权重。
尽管每类模型都有其优势，但单一模型在实际复杂场景中往往存在局限。TCN在捕捉局部模式方面表现出色，但在需要显式建模全局变量间注意力时略显不足；LSTM能够保留序列记忆，却在长序列和高维输入情况下受制于序列迭代计算带来的效率问题与梯度传播压力；普通的Transformer在处理长序列时计算代价较大，同时对短期局部细节的捕捉有时不如卷积结构。面对实际的多变量预测需求，有必要将上述模型的优势进行有机融合，形成一种层次结构合理、训练稳定、表达能力强且计算可控的组合模型。
基于时间卷积网络与Transformer-LSTM的融合思路，以TCN作为前端特征提取模块，利用多层带空洞的因果卷积快速提取局部短期模式与多尺度特征，再通过改造后的基于自注意力的Transformer子结构在特征空间中建模跨变量和跨时间步的全局依赖关系，最后引入LSTM结构进一步对经过注意力重加权的序列特征进行时序记忆与整合，从而在多变量时间序列预测任务上实现既兼顾局部细节又兼顾全局趋势的建模能力。
在MATLAB R2025b环境中，深度学习工具箱提供了dlnetwork、自定义层等灵活组件，可以通过layerGraph构建复杂的网络结构。尽管新版本不再提供封装程度较高的transformerEncoderLayer，但attentionLayer、selfAttentionLayer、positionEmbeddingLayer等基础层足以支持构建定制化的Transformer子模块。同时，dlnetwork允许对复杂网络进行自动微分和自定义训练循环，适合针对多变量时间序列预测任务进行精细化控制和调参。通过将TCN、Transformer和LSTM模块顺序和结构化地组装在一起，可在一个统一架构中完成从局部卷积特征、全局注意力建模到序列记忆与输出预测的全过程，解决过去单模型无法兼顾多种特性的矛盾。
在多变量时间序列预测场景下，这种TCN-Transformer-LSTM组合模型可以应用于多种不同预测任务，例如多步负荷预测、故障趋势预测、污染物浓度预测、金融风险指数预测等。通过合理选取输入窗口长度、预测步长、网络深度以及注意力头数，可以根据具体场景控制模型复杂度与预测精度之间的平衡。在训练过程中还可以利用早停策略、学习率调度、正则化等技术，提高模型的泛化能力并降低过拟合风险。结合R2025b版本的一些新特性和约束，结构设计将避免使用被弃用或不再推荐的接口，确保整个工程在当前环境下具有较好的稳定性与可维护性。
项目目标与意义
提升多变量时间序列预测精度与稳定性
多变量时间序列预测在工程和决策场景中往往直接关系到成本、安全和效率，预测精度与稳定性具有极高价值。本项目以构建TCN-Transformer-LSTM组合模型为核心目标之一，旨在通过融合三类结构的优势，全面提升预测性能。TCN利用因果卷积和空洞卷积有效扩展感受野，能够在较浅的层数下覆盖较长时间窗口，避免长序列RNN训练中常见的梯度消失问题。自注意力机制通过对不同时间步、不同变量分配可学习权重，能突出对预测最重要的时刻和特征维度，使模型在面对噪声和冗余特征时具有较强的鲁棒性。LSTM则在序列末端进一步聚合记忆，对前面提取的局部特征和全局注意力信息进行有序整合，有利于平滑预测曲线并减小短期震荡。通过这种多模块协同机制，预测结果既能体现对关键历史模式的准确把握，又能在长期趋势上保持平稳一致，从而在工业控制、电网调度、生产计划编制等关键任务中提供更可靠的数据支撑。相比传统统计模型或单一深度网络结构，该组合模型预期能够显著降低平均绝对误差与均方误差，提升在激烈波动和异常干扰下的预测稳定性，实现更高层次的智能预测能力。
挖掘跨变量相关结构与隐含规律
多变量时间序列往往包含多个物理量、业务指标或环境因素，变量之间存在丰富的耦合关系和隐含规律。项目的另一核心目标是构建能够主动挖掘跨变量相关结构的模型，通过TCN-Transformer-LSTM的有机融合，揭示不同变量在时间变化中的相互影响。TCN通过多个卷积通道对不同变量进行联合卷积，能够从局部序列片段中提取共现模式，例如温度与负荷的联动、振动与电流的共振等。Transformer子模块中的多头自注意力在特征维度上对不同变量给予不同关注权重，使得模型在计算加权表示时，能自动突出对目标预测变量影响更大的特征通道。同时，位置嵌入机制帮助网络区分不同时间位置的同一变量，使模型能够将某些关键时间点的特征与特定变量的组合关系加以学习。LSTM模块最后对整个时间序列的联合表征进行记忆与更新，以序列级别的方式整合跨变量的信息。通过这种架构，模型不仅可以输出准确的数值预测，还能通过可解释化分析（例如注意力权重可视化）辅助研究者理解变量之间的影响路径和作用强度，为领域专家提供新的分析视角和决策依据。
构建可扩展的深度混合模型框架
单一网络结构难以在所有任务和数据规模下保持最优表现，混合结构成为复杂任务中越来越重要的设计方向。本项目目标之一是给出一个在MATLAB R2025b环境下可扩展、可裁剪的深度混合模型框架，便于在不同场景下进行扩展和定制。通过将TCN模块、Transformer模块与LSTM模块以相对清晰的接口和子图组织，研究人员或工程人员可以迅速调整卷积层数、空洞因子、多头注意力数量、隐藏维度以及LSTM层深等结构参数，以适应不同长度、不同频率、不同维度的时间序列数据。R2025b提供的dlnetwork和layerGraph结构使得此类组合网络能够以图的方式灵活拼接，便于在后续工作中引入更多改进模块，例如归一化层、残差连接、门控卷积、图卷积等。项目通过完整的代码实现和结构注释，形成一个易于移植和扩展的模板，为后续在其他数据集和其他领域中开展类似研究提供基础架构，降低模型开发成本，并促进在MATLAB生态内进行复杂时间序列建模的可重用积累。
服务于实际业务决策与智能运维
从最终价值上看，本项目的意义并不仅停留在算法性能提升层面，更重要的是能直接服务于实际业务决策与智能运维。工业设备的运行预测可用于安排预防性维护，减少突发停机产生的高昂损失；电力、供水、供热等公用事业的负荷预测可以提高调度计划的合理性，避免过度冗余备用带来的浪费，也降低因为预测偏差而引发的供给风险。城市交通流量的多变量预测则有利于信号控制与诱导系统的精细化调度，缓解高峰拥堵。通过引入多变量信息，模型能更全面地考虑天气、节假日、特殊事件等因素，在复杂情境下提供更可信的预测结果。MATLAB在工程领域拥有广泛用户基础，本项目提供的TCN-Transformer-LSTM多变量预测实现可与现有数据采集系统、控制系统和可视化平台无缝对接，便于工程技术人员直接在熟悉的环境中部署应用。通过这种方式，深度混合网络从研究型工具转化为可落地的工程组件，推动相关行业的智能化升级和精细化管理，为节能减排、运行安全、成本控制等方面带来实质性收益。
项目挑战及解决方案
多模块网络结构设计与参数选择难度
TCN-Transformer-LSTM组合模型包含时间卷积模块、自注意力模块与循环记忆模块，各模块内部又有多个层级与超参数，例如卷积核大小、空洞率、残差连接方式、注意力头数、键值维度、隐藏层维度、LSTM单元数目等。参数空间巨大，如果缺乏系统设计和合理约束，极易形成过于复杂的网络，不仅训练耗时，而且容易出现过拟合和收敛不稳定问题。多模块结构之间的尺寸匹配和张量形状衔接同样是一个实际挑战，自注意力模块通常采用序列长度×特征维度的表示形式，而TCN模块卷积后输出张量的维度通常为批大小×特征数×时间步，需要在网络中进行明确的维度转换。R2025b环境下构建自定义Transformer子结构时，需要基于attentionLayer或selfAttentionLayer自行拼接Query、Key、Value路径，这也增加了设计复杂性。针对这些问题，解决方案是在模型设计阶段引入模块化思想，将整个网络划分为TCN特征提取块、Transformer注意力块与LSTM整合块三个相对独立的子模块，每个模块内部先在较小规模的网络上进行独立实验，确定合理的默认参数范围。然后在组合阶段，严格采用统一的中间特征维度和时间维度约定，通过permuteLayer、flattenLayer或自定义reshape层确保各模块形状匹配，避免维度不一致导致的运行错误。对于超参数选择，通过网格搜索或分阶段调参与早停策略配合，优先固定部分参数，例如卷积核大小与注意力头数，只在较敏感的维度上进行细致调整，从而兼顾网络表达能力与训练可行性。
长序列、多变量数据的训练效率与稳定性
多变量时间序列往往具有较长历史窗口和高维输入，在TCN-Transformer-LSTM组合网络中，长序列将显著增加自注意力部分的计算量，因为注意力机制基于序列长度的平方复杂度。同时，长序列也为LSTM部分带来较大的状态传递负担，在梯度反向传播时更容易出现数值不稳定甚至梯度爆炸。另一方面，高维输入导致参数数量增加，训练所需显存和时间消耗都成倍增长。若直接使用极长原始序列训练网络，在MATLAB R2025b环境下可能面临内存紧张和训练时间过长的问题。针对这一挑战，本项目采用多种策略组合进行应对。首先，在数据准备阶段，将原始长序列切分为固定长度的时间窗口，每个窗口作为一个训练样本，通过滚动窗或滑动窗方式生成训练集，在保证保留足够历史信息的前提下，限制单次输入的序列长度。其次，在Transformer子模块中控制注意力头数与内部维度的规模，避免使用过大的隐藏维度，必要时可以采用降维线性层对TCN输出的特征维度进行压缩，减轻注意力计算负担。再次，在训练设置上，采用合适的mini-batch大小，并利用GPU加速，结合学习率预热与衰减策略，搭配梯度裁剪技术控制梯度范数，保持训练稳定。通过MATLAB的dlarray与dlnetwork接口进行自定义训练循环，可以精细监控训练损失变化，一旦发现不稳定趋势及时调整学习率或批量大小。这些措施共同作用，使得在面对长序列、多变量数据时，模型仍能实现高效且稳定的训练过程。
MATLAB R2025b版本特性与实现约束
在R2025b版本中，深度学习工具箱对部分接口进行了调整，既带来了新的基础层，也取消或修改了一些早期版本中的便捷封装。例如，没有直接可用的transformerEncoderLayer，需要基于attentionLayer或selfAttentionLayer组装自注意力单元与前馈网络；dlnetwork的Learnables无法通过layerVisitor等机制直接更新，需要采用标准的梯度计算与参数更新方式；dlupdate主要服务于网络状态更新，不应用于结构体形式的Learnables修改。此外，图形界面构建相关函数也存在约束，不再推荐使用某些UI组件；可视化函数如confusion矩阵图和colorbar等属性也发生变化。在此环境下构建TCN-Transformer-LSTM组合模型，需要充分考虑这些版本特性，避免依赖已弃用的接口或不再可用的属性。针对这一挑战，项目在设计中采用了几种解决方案。首先，自注意力模块基于attentionLayer和positionEmbeddingLayer进行构建，明确通过可学习线性层生成Query、Key、Value，利用现有基础层搭建出功能等价的Transformer编码单元，从而绕过缺失的高级封装。其次，训练过程完全采用dlnetwork与自定义训练循环，通过dlfeval与自编写的modelGradients函数完成前向传播与梯度计算，再使用自定义的SGD或Adam更新规则对Learnables进行更新，而不依赖layerVisitor类工具。再次，在绘图和可视化中不使用过时属性，例如避免设置ColorbarVisible，而是通过colormap(fig, turbo)方式调整色图，保证代码在R2025b环境中顺畅运行。通过这些针对性设计，将版本约束转化为结构清晰、实现透明的优势，为后续维护与扩展提供了良好基础。
项目模型架构
TCN时间卷积特征提取模块
TCN模块是整套模型的前端，用于从原始多变量时间序列中提取多尺度局部特征。其核心思想在于使用因果卷积和空洞卷积的组合，在保持时间因果性的同时，逐层扩大感受野。因果卷积指卷积核在某一时间步的输出只依赖于当前及之前的输入，从而避免信息“泄漏”到未来时刻，确保预测任务的合理性。空洞卷积通过在卷积核之间插入空隙，使得在相同的卷积核大小与层数下，网络可以覆盖更长的历史时间范围。通过设置不同的空洞率，例如1、2、4、8等递增方式，多层堆叠后形成层次化的时间感知结构，在局部窗口内提取短期模式，同时兼顾较长周期的趋势。
在具体架构中，多变量时间序列的形状可表示为样本数×时间步×变量数，在输入到TCN模块前，通常需要转置为样本数×变量数×时间步，以符合卷积层的输入格式。TCN模块由若干个残差块构成，每个残差块包含两层一维卷积层，加上激活函数（如ReLU）、层归一化或批归一化等操作，并通过跳连保持梯度稳定。每一层一维卷积使用padding方式保证输出时间维度与输入一致，从而使残差连接变得自然。通过多个残差块堆叠，网络学习到从短时局部形状到较长趋势变化的一系列特征，对于周期性变化、突变点、缓慢趋势等结构都具有较强的刻画能力。
在TCN输出端，得到的是一组包含多个特征通道的时间序列，每个通道对应卷积核对历史模式的一种响应。这些响应将作为Transformer注意力模块的输入，进一步进行跨时间步与跨特征的全局建模。得益于TCN的卷积并行计算特点，前端特征提取在GPU上可以高效运行，大幅减少整体网络在处理长序列时的时间成本。同时，由于卷积操作的局部连接和参数共享特性，在有限参数数量的情况下就能覆盖较长历史序列，为后续模块提供丰富而紧凑的高维表示。
Transformer自注意力全局依赖建模模块
Transformer模块在TCN输出的基础上，引入自注意力机制，对不同时间步和不同特征通道之间的关系进行全局建模。自注意力机制的核心在于构造Query、Key与Value三类向量，通过计算Query与Key的相似度，得到注意力权重，再利用该权重对Value进行加权求和，形成对原特征的重新表示。对时间序列而言，每一个时间步与特征通道的组合都可以视作一个“位置”，自注意力机制能够基于这些位置计算全局范围内的依赖关系，不再局限于局部邻域。为了保留序列的时间顺序信息，需要引入位置嵌入，将时间位置信息编码到特征向量中。在MATLAB R2025b中可以利用positionEmbeddingLayer将时间索引映射到向量，与TCN输出特征在通道维度上相加，形成含位置信息的序列表示。
实际构建时，可将TCN输出从样本数×通道数×时间步转换为时间步×样本数×特征维度的形式，以便在attentionLayer中进行操作。通过线性层生成Query、Key与Value，再利用attentionLayer完成加权聚合。多头注意力机制将特征维度划分为若干子空间，不同的头在不同子空间中学习不同类型的依赖模式，将各头输出拼接后再通过线性层投影回原始维度，从而提升表示的多样性与表达能力。Transformer模块通常还包括前馈全连接子网络以及残差连接和归一化操作，前馈网络负责在每个时间位置上对特征进行非线性变换和重构，残差和归一化则有助于稳定深层结构的训练。通过自注意力模块，模型能够区分哪些历史时间位置、哪些变量组合对当前预测任务最为关键，显著提高对跨变量、跨时间依赖关系的建模能力，为后续LSTM模块提供经过全局重加权的特征表示。
LSTM时序记忆与输出整合模块
LSTM模块位于Transformer模块之后，主要任务是对已经经过卷积特征提取与注意力加权的序列特征进行记忆、筛选与整合。LSTM单元通过输入门、遗忘门和输出门来控制信息流动，能够决定在每个时间步应当保留哪些历史信息、遗忘哪些冗余部分，并在隐藏状态中以递归方式累计与更新。对于经过Transformer处理后的特征序列而言，其每个时间步的表示已经融合了全局上下文信息，但仍然需要一个顺序处理机制在时间维度上形成连续的预测逻辑。例如，某些长期趋势需要跨多个周期累积才能体现，在LSTM内部的细胞状态中可以得到自然表达。
在模型结构上，可采用一层或多层LSTM堆叠，将Transformer输出形状转换为时间步×样本数×特征维度，以符合LSTM层接口。LSTM层处理完后，可选择提取最后一个时间步的隐藏状态作为整体序列的压缩表示，用于生成未来若干步的预测；也可以将每一个时间步的隐藏状态通过全连接层映射成对应的预测输出，以实现序列到序列的预测任务。为了避免参数过多导致过拟合，LSTM层数和隐藏单元数需要结合数据规模与复杂度合理设定，一般在卷积和注意力模块已经提供较强表达能力的情况下，LSTM层数无需过多。通过在训练中采用合适的正则化与dropout设置，可以进一步提升LSTM部分的泛化能力。LSTM模块在整套模型中的作用相当于一个时间维度上的整合器，将前面模块产生的局部与全局信息统一收束为最终的预测信号。
输出层与损失函数设计
在通过LSTM模块获得时序整合特征后，需要通过输出层将高维表示映射到具体的预测变量空间。对多变量时间序列预测任务而言，输出可以是未来某个时间步所有变量的联合预测，也可以是未来多个时间步的多变量序列。输出层通常采用全连接层，将LSTM隐藏状态的维度转换为目标预测维数。例如，当任务是预测未来单步的多变量值，输出层的神经元数量设置为目标变量数量；若任务是预测未来若干步的多变量序列，则输出层维度可以设置为预测步长乘以变量数，输出后再进行reshape获得预测序列。输出层之前可以选择加入dropout层，以抑制过拟合。
损失函数的选择对于训练效果有关键影响。多变量回归预测中，经常选用均方误差（MSE）作为主损失，因其对大误差敏感，能够推动模型尽量减少大幅偏差。这一损失可以写作预测值与真实值差异的平方平均，适合在MATLAB的自定义训练循环中通过mean((YPred - YTrue).^2)形式实现。若某些变量对业务目标更为重要，可以在损失计算中引入加权因子，对关键变量给予更高的损失权重。也可以结合平均绝对误差（MAE）作为辅助评估指标，用于训练过程的监控和模型选择。通过将输出层与损失函数紧密结合，在训练阶段持续优化网络参数，使得TCN-Transformer-LSTM组合模型在多变量预测任务上收敛到较优解，达到在精度与稳定性上的综合提升。
整体网络数据流与残差连接协调
整个TCN-Transformer-LSTM网络的整体数据流可以概括为：首先，多变量时间序列经过预处理与窗口化，输入TCN模块进行局部卷积特征提取；其次，TCN输出通过维度转换与位置嵌入进入Transformer模块，完成自注意力加权与前馈变换，再通过残差连接与归一化提升训练稳定性；然后，经过注意力处理的序列特征送入LSTM模块，以时间顺序进行记忆与整合；最后，通过全连接输出层映射为所需的预测结果。在网络内部，残差连接不仅出现在TCN的残差块中，也可以在Transformer子模块中使用，使得梯度可以沿着短路径流动，减轻深层网络中的训练困难。通过合适的归一化层或层归一化操作，避免各模块输出分布在训练阶段发生剧烈偏移，从而加速收敛。
MATLAB R2025b中的layerGraph结构允许将各个层按有向图方式连接，通过添加分支与合并节点实现复杂的数据流设计。例如，在TCN残差块中，可以同时存在主分支（卷积-激活-卷积）和捷径分支（恒等映射或1×1卷积），在输出端通过additionLayer进行相加形成残差输出。在Transformer模块中，注意力子层与前馈子层都可配合残差连接使用。整个网络最终封装为dlnetwork对象，以便在自定义训练循环中进行多批次梯度更新。通过这种有序的数据流与残差协调设计，结合TCN、Transformer和LSTM各自的优势，使整套模型在多变量时间序列预测中具备强大的表示能力、较高的训练效率和良好的稳定性。
项目模型描述及代码示例
数据准备与窗口化示例 clear; % 清空工作区变量，避免历史变量干扰当前实验环境 rng(2025); % 固定随机数种子，确保多次运行结果具有可重复性 numSamples = 5000; % 设置原始时间序列长度，表示连续采样的时间点数量 numVars = 3; % 设置多变量数量，例如三个传感器或三个业务指标 t = (1:numSamples)'; % 构造时间索引向量，用于生成具有时间结构的模拟数据 data = zeros(numSamples,numVars); % 预分配数据矩阵，行表示时间步，列表示各变量 data(:,1) = sin(2*pi*t/50) + 0.1*randn(numSamples,1); % 第一变量模拟周期性信号叠加高斯噪声，体现周期与随机扰动 data(:,2) = 0.5*cos(2*pi*t/80) + 0.3*data(:,1) + 0.1*randn(numSamples,1); % 第二变量模拟与第一变量相关的余弦信号，体现跨变量耦合 data(:,3) = 0.01*t + 0.2*data(:,1) - 0.1*data(:,2) + 0.2*randn(numSamples,1); % 第三变量包含线性上升趋势与前两个变量组合影响 data = normalize(data); % 对每一列变量进行标准化处理，使均值为0方差为1，便于深度网络训练 windowSize = 40; % 设置输入窗口长度，表示使用过去40个时间步的历史信息进行预测 horizon = 1; % 设置预测步长，这里示例为预测未来1个时间步的多变量值 numObs = numSamples - windowSize - horizon + 1; % 计算可构造的样本数量，保证最后一个窗口后还能留出预测步 X = zeros(windowSize,numVars,numObs); % 预分配输入三维数组，维度依次为时间步、变量数、样本数 Y = zeros(numObs,numVars); % 预分配输出矩阵，每行对应一个样本的目标多变量值 for i = 1:numObs % 遍历每个可用起始时间步构造样本 idxStart = i; % 当前样本窗口起始索引 idxEnd = i + windowSize - 1; % 当前样本窗口结束索引，长度为windowSize X(:,:,i) = data(idxStart:idxEnd,:); % 将当前窗口的多变量历史数据存入输入数组 Y(i,:) = data(idxEnd + horizon,:); % 将窗口之后horizon步的多变量值作为预测目标 end % 完成所有样本的窗口化构造 numTrain = floor(0.8*numObs); % 设置训练集大小为样本总数的80%，剩余用于验证或测试 XTrain = X(:,:,1:numTrain); % 提取训练输入样本，保持三维结构 YTrain = Y(1:numTrain,:); % 提取训练目标输出，对应训练窗口后的未来值 XVal = X(:,:,numTrain+1:end); % 提取验证集输入，用于训练过程中监控模型表现 YVal = Y(numTrain+1:end,:); % 提取验证集目标输出，配合验证损失评估泛化能力 TCN残差卷积块构造示例 inputChannels = numVars; % 设置TCN输入通道数为原始变量数量，每个变量对应一个通道 numFilters = 32; % 设置卷积核个数，表示输出特征通道数量 kernelSize = 3; % 设置一维卷积核大小，用于捕捉局部时间模式 dilation1 = 1; % 第一层卷积的空洞率为1，对应普通因果卷积 dilation2 = 2; % 第二层卷积的空洞率为2，扩大感受野范围 layersTCN = [ ]; % 初始化TCN层数组，用于逐层追加卷积与激活 layersTCN = [layersTCN ... sequenceInputLayer(inputChannels,Name="seqInput")]; % 添加序列输入层，指定输入特征维度与名称 layersTCN = [layersTCN ... convolution1dLayer(kernelSize,numFilters,Padding="causal",DilationFactor=dilation1,Name="tcnConv1")]; % 添加第一层因果空洞卷积，输出numFilters个特征通道 layersTCN = [layersTCN ... layerNormalizationLayer(Name="tcnNorm1")]; % 添加层归一化层，稳定不同样本与时间位置的特征分布 layersTCN = [layersTCN ... reluLayer(Name="tcnRelu1")]; % 添加ReLU激活层，引入非线性映射能力 layersTCN = [layersTCN ... convolution1dLayer(kernelSize,numFilters,Padding="causal",DilationFactor=dilation2,Name="tcnConv2")]; % 添加第二层因果空洞卷积，感受野进一步扩展 layersTCN = [layersTCN ... layerNormalizationLayer(Name="tcnNorm2")]; % 添加第二个层归一化层，用于配合残差连接保持数值稳定 % 构造残差捷径分支，将输入直接映射到与卷积输出相同维度 shortcutLayers = [ ... convolution1dLayer(1,numFilters,Padding="causal",Name="tcnShortcutConv")]; % 使用1×1卷积调整通道数，保证与主分支输出通道对齐 % 将主分支与残差分支组成layerGraph以实现分支和合并 lgraphTCN = layerGraph(layersTCN); % 将TCN主分支层数组转换为layerGraph对象，便于添加捷径分支 lgraphTCN = addLayers(lgraphTCN,shortcutLayers); % 将捷径卷积层添加到图结构中，形成第二条分支路径 lgraphTCN = addLayers(lgraphTCN,additionLayer(2,Name="tcnAdd")); % 添加加法层，用于合并主分支和捷径分支的特征 lgraphTCN = connectLayers(lgraphTCN,"seqInput","tcnShortcutConv"); % 将输入层的输出连接到捷径卷积层，实现直接映射 lgraphTCN = connectLayers(lgraphTCN,"tcnNorm2","tcnAdd/in1"); % 将主分支末端归一化输出连接到加法层第一个输入 lgraphTCN = connectLayers(lgraphTCN,"tcnShortcutConv","tcnAdd/in2"); % 将捷径分支的输出连接到加法层第二个输入实现残差合并 Transformer自注意力编码子模块示例 attnDim = numFilters; % 设置注意力特征维度，与TCN输出通道数保持一致以便直接衔接 numHeads = 4; % 设置多头注意力头数，将特征维度划分为多个子空间并行学习 ffnDim = 64; % 设置前馈网络隐藏层维度，用于增强非线性变换能力 % 定义位置嵌入层，将时间位置编码为向量并加入特征 posLayer = positionEmbeddingLayer(attnDim,Name="posEmbed"); % 创建位置嵌入层，输出与特征维度相同的嵌入向量 % 定义Query、Key、Value的线性投影层 qProj = fullyConnectedLayer(attnDim,Name="qProj"); % 创建全连接层，用于将输入特征映射为查询向量空间 kProj = fullyConnectedLayer(attnDim,Name="kProj"); % 创建全连接层，将输入映射为键向量空间 vProj = fullyConnectedLayer(attnDim,Name="vProj"); % 创建全连接层，将输入映射为值向量空间 % 定义多头注意力层 attnLayer = attentionLayer(numHeads,attnDim,Name="selfAttn"); % 创建多头注意力层，基于给定头数和特征维度计算加权表示 % 定义前馈子网络层 ffn1 = fullyConnectedLayer(ffnDim,Name="ffn1"); % 前馈网络第一层，将特征维度提升到更高的隐藏维度 ffnAct = reluLayer(Name="ffnRelu"); % 前馈网络中间激活层，采用ReLU增强非线性 ffn2 = fullyConnectedLayer(attnDim,Name="ffn2"); % 前馈网络第二层，将隐藏表示映射回注意力维度 % 将上述层整合为顺序结构示例 layersTransformer = [ ... sequenceInputLayer(attnDim,Name="trInput") % Transformer模块输入层，特征维度与TCN输出一致 posLayer % 位置嵌入层，将时间位置信息加入输入特征 qProj % 查询向量投影层，将位置编码后的特征映射为查询向量 kProj % 键向量投影层，用同一输入特征生成键向量 vProj % 值向量投影层，用同一输入特征生成值向量 attnLayer % 多头注意力层，计算查询与键的相似度并对值进行加权求和 layerNormalizationLayer(Name="attnNorm") % 注意力输出归一化层，配合残差连接改善训练稳定性 ffn1 % 前馈网络第一层，对每个时间位置进行特征变换 ffnAct % 前馈网络激活层，引入非线性 ffn2 % 前馈网络第二层，恢复原始特征维度 layerNormalizationLayer(Name="ffnNorm")]; % 前馈输出归一化层，形成标准的Transformer编码子结构 LSTM时序整合与输出映射示例 lstmHiddenSize = 64; % 设置LSTM隐藏单元数量，控制时序记忆容量 numTargets = numVars; % 设置输出目标维度，与多变量数量一致 layersLSTM = [ ... sequenceInputLayer(attnDim,Name="lstmInput") % LSTM模块输入层，接收Transformer输出特征序列 lstmLayer(lstmHiddenSize,OutputMode="last",Name="lstmLayer") % LSTM层，输出最后时间步隐藏状态作为整个窗口的表示 dropoutLayer(0.2,Name="lstmDropout") % Dropout层，随机屏蔽部分单元减轻过拟合 fullyConnectedLayer(numTargets,Name="fcOut") % 全连接输出层，将LSTM隐藏状态映射为多变量预测值 regressionLayer(Name="regOut")]; % 回归输出层，配合MSE等损失函数进行数值预测任务 组合TCN-Transformer-LSTM整体网络示例 % 将TCN残差图与Transformer和LSTM顺序模块通过中间接口组合成完整结构 lgraphFull = lgraphTCN; % 初始化整体图结构，以TCN残差图为基础 % 在TCN输出后添加特征转换层，将通道×时间结构转换为Transformer期望格式 tcnToTr = functionLayer(@(x) permute(x,[3 2 1]),Name="tcnToTr"); % 自定义函数层，将输入维度转换为时间步×特征×批的顺序 lgraphFull = addLayers(lgraphFull,tcnToTr); % 将维度转换层添加到整体图中 lgraphFull = connectLayers(lgraphFull,"tcnAdd","tcnToTr"); % 将TCN残差输出连接到维度转换层输入 % 将Transformer顺序层添加到整体图中 lgraphFull = addLayers(lgraphFull,layersTransformer); % 添加Transformer编码子模块到网络图 lgraphFull = connectLayers(lgraphFull,"tcnToTr","trInput"); % 将维度转换后的特征连接到Transformer输入层 % 添加LSTM与输出层模块 lgraphFull = addLayers(lgraphFull,layersLSTM); % 将LSTM及回归输出层添加至图结构 lgraphFull = connectLayers(lgraphFull,"ffnNorm","lstmInput"); % 将Transformer前馈输出连接至LSTM输入 % 构建dlnetwork对象以便使用自定义训练循环 net = dlnetwork(lgraphFull); % 将完整网络图封装为可训练的动态神经网络对象 自定义训练循环与损失计算示例 learningRate = 1e-3; % 设置初始学习率，用于控制参数更新步长 numEpochs = 30; % 设置训练轮数，每轮遍历一次全部训练样本 miniBatchSize = 64; % 设置小批量大小，每次迭代使用部分样本进行更新 numIterationsPerEpoch = ceil(numTrain/miniBatchSize); % 计算每轮训练需要的迭代次数 trailingAvg = []; % 初始化一阶矩估计，为Adam优化器准备 trailingAvgSq = []; % 初始化二阶矩估计，为Adam优化器准备 for epoch = 1:numEpochs % 外层循环遍历训练轮数 idx = randperm(numTrain); % 对训练样本索引进行随机打乱，增强训练过程的随机性 XTrain = XTrain(:,:,idx); % 按随机顺序重新排列训练输入样本 YTrain = YTrain(idx,:); % 按相同顺序重新排列训练目标输出 for iter = 1:numIterationsPerEpoch % 内层循环遍历当前轮的所有小批量 batchIdxStart = (iter-1)*miniBatchSize + 1; % 当前批次的起始索引 batchIdxEnd = min(iter*miniBatchSize,numTrain); % 当前批次的结束索引，不超过训练样本数 XBatch = XTrain(:,:,batchIdxStart:batchIdxEnd); % 提取当前小批量的输入窗口数据 YBatch = YTrain(batchIdxStart:batchIdxEnd,:); % 提取当前小批量的目标输出 dlX = dlarray(permute(XBatch,[2 1 3]),"CBT"); % 将输入转换为dlarray，并将维度调整为通道×时间×批次 dlY = dlarray(YBatch',"CB"); % 将目标输出转换为dlarray，并调整为特征×批次格式 [gradients,loss] = dlfeval(@modelGradients,net,dlX,dlY); % 使用dlfeval执行前向传播与反向传播，返回梯度与损失 [net,trailingAvg,trailingAvgSq] = adamupdate(net,gradients,trailingAvg,trailingAvgSq,iter,learningRate); % 使用Adam优化规则更新网络参数与一二阶矩估计 end % 完成本轮所有小批量训练 end % 完成全部训练轮数 function [gradients,loss] = modelGradients(net,dlX,dlY) % 定义模型梯度计算函数，输入网络与小批量数据 dlYPred = forward(net,dlX); % 前向传播小批量输入，获得dlarray形式的预测输出 loss = mse(dlYPred,dlY); % 计算预测值与真实值之间的均方误差作为损失 gradients = dlgradient(loss,net.Learnables); % 对网络可学习参数计算损失的梯度，用于参数更新 end % 结束梯度计算函数定义 简单预测与结果重构示例 XTest = XVal; % 将验证集窗口作为测试样本，演示预测过程 YTestTrue = YVal; % 保存测试集真实多变量值，用于后续误差评估 numTest = size(XTest,3); % 获取测试样本数量，等于验证窗口个数 YPred = zeros(numTest,numVars); % 预分配预测结果矩阵，每行对应一个测试样本预测 for i = 1:numTest % 遍历每个测试样本进行单独预测 x = XTest(:,:,i); % 取出当前测试样本窗口的多变量历史数据 dlXTest = dlarray(permute(x,[2 1]),"CT"); % 将样本转换为通道×时间格式的dlarray以匹配网络输入 dlYPred = predict(net,dlXTest); % 使用训练好的网络进行前向预测，得到dlarray形式的输出 YPred(i,:) = gather(extractdata(dlYPred))'; % 将预测结果从dlarray转换为普通数组并存储到结果矩阵中 end % 完成所有测试样本的预测 mseTest = mean((YPred - YTestTrue).^2,"all"); % 计算整体测试集均方误差，用于评估预测性能
