TCN-LSTM-Attention多变量时间序列预测的Matlab实现与优化

简介：这是一套面向多变量时间序列预测场景的TCN-LSTM-Attention完整实现，适合课程设计、期末大作业或毕业设计，也适合入门深度学习时序建模的读者。资源基于Matlab 2023b开发，输入多个历史特征、输出单变量，借助时间卷积、长短期记忆与注意力机制完成预测，兼顾局部特征提取与长期依赖建模。压缩包共8个文件、约4.34MB，包含4个可直接运行的.m脚本、1个txt说明、1个xlsx数据集和2张效果图；主程序、数据预处理、误差计算、雷达图绘制等模块划分清晰，便于理解、调试与二次修改。代码采用参数化编程并配有详细注释，运行主程序即可在命令窗口输出R2、MSE、MAE、MAPE等多指标评价结果，方便对比不同参数下的模型效果。已有118人学习，适合希望快速搭建时序预测基线并完成实验分析的读者。

1. 从单变量到多变量：为什么 TCN 和 LSTM 要拼在一起

多变量时间序列预测是工业场景里最常见也最容易翻车的任务之一。单一模型很难同时吃下长程依赖、局部突变和多维耦合这三大特性：LSTM 擅长捕捉序列中的长期记忆，但面对超长序列时训练速度慢且容易忽略近期模式的权重；TCN 用膨胀因果卷积把感受野撑大，训练快、梯度稳定，但对跨变量的交互关系建模偏弱；Attention 则能把预测目标与历史时刻的相关性显式地加权出来。把三者串成 TCN-LSTM-Attention 混合结构，本质上是让TCN 做高频特征提取、LSTM 做时序压缩、Attention 做关键历史时刻聚焦，各管一段，形成一条完整的多变量预测流水线。

如果你手里正好有一份 Matlab 完整源码和数据，那么你要解决的不是“能不能跑通”，而是“参数怎么设、数据怎么喂、结果怎么评估”。本文从模型结构拆解开始，给你一份可以直接对照修改的实现路径：包括多变量输入矩阵的构造方式、TCN 层膨胀系数与通道数的搭配原则、Attention 权重可视化的落地方案，以及多步预测时最容易踩的归一化泄漏坑。整个方案不需要 GPU 也能跑出可用结果，适合作为基线模型用于风电功率、交通流量、水文径流等典型多变量场景的预测任务。

2. TCN-LSTM-Attention 的模型结构拆解：三段时间序列建模组件如何衔接

2.1 TCN 不是简单的一维卷积：因果、膨胀与残差三件套

TCN（Temporal Convolutional Network）能作为时间序列特征提取器，不是因为它把 Conv1d 搬过来用，而是因为它同时满足三个约束：因果性（causal）、膨胀性（dilated）、残差连接（residual）。因果卷积保证 t 时刻的输出只依赖 t 及之前的历史，不会引入未来信息泄漏；膨胀卷积通过空洞率（dilation rate）指数增长来扩大感受野，避免为了看到更远的历史而把卷积核堆到很深；残差连接则解决网络加深后的退化问题。三个条件缺一个，TCN 就不再适合做时序建模。

在 Matlab 中实现 TCN，最直接的做法不是自己写卷积权重更新，而是用dlconv配合自定义膨胀参数。dlconv是 Deep Learning Toolbox 里对convolution2dLayer的底层补充，它接受dlarray数据并支持可自定义的dilation因子。下面是一个标准的 TCN 残差块实现：

function out = tcnBlock(input, numFilters, dilFactor) % input: [numChannels, seqLen, 1, batchSize] 格式的 dlarray % numFilters: 卷积核数量 % dilFactor: 当前残差块的膨胀系数 % 主分支：膨胀因果卷积 + 归一化 + ReLU z = dlconv(input, ... dlarray(0.01 * randn(1, 3, size(input, 1), numFilters), 'SSCB'), ... dlarray(zeros(numFilters, 1), 'CB'), ... 'DilationFactor', [1, dilFactor], ... 'Padding', [0, (3 - 1) * dilFactor, 0, 0]); % 左侧补零保证因果性 z = batchnormalize(z, 'Mean', zeros(numFilters, 1), 'Variance', ones(numFilters, 1)); z = relu(z); % 残差分支：若通道数不变则直连，否则用1x1卷积对齐维度 if size(input, 1) == numFilters y = input; else y = dlconv(input, ... dlarray(0.01 * randn(1, 1, size(input, 1), numFilters), 'SSCB'), ... dlarray(zeros(numFilters, 1), 'CB')); end out = relu(z + y); end

这段代码里Padding采取的是[0, (kernelSize - 1) * dilFactor, 0, 0]的左侧补零策略，其目的是保持“因果”属性：不使用未来的样本。如果你把 Padding 写成了前后各补一半，模型在训练指标上可能表现更好，但本质上已经变成了普通的卷积序列模型，预测时会引入未来信息，属于典型的测试期泄漏。DilationFactor对应 TCN 原论文中的膨胀率配置，一个完整的 TCN 层会依次设置 1、2、4、8 等指数递增的膨胀系数，以保持感受野覆盖整个历史窗口。

2.2 LSTM 承接时序压缩：把高维卷积特征转成有序状态

TCN 输出的特征图仍然是一个多通道的时序矩阵，直接丢给 Attention 不是不行，但会丢失特征在时间轴上的“状态递进”关系。LSTM 在这里的作用是把多通道卷积特征压缩成固定维度的隐状态序列，让 Attention 有一个结构化的查询对象。

Matlab 中对 LSTM 的标准调用是lstmLayer(numHiddenUnits)，但在自定义训练循环中，你更可能需要直接使用dlstm函数。它接受[numFeatures, seqLen, batchSize]格式的dlarray，返回的是最后一个时间步的输出，或者完整的时间步输出序列。下面是 LSTM 承接 TCN 输出的关键代码：

function [hSeq, hLast] = lstmEncoder(x, weights, bias) % x: [numFeatures, seqLen, 1, batchSize] % 返回 hSeq: 所有时间步的隐状态（供 Attention 使用） % 返回 hLast: 最后一个时间步的隐状态 [hSeq, hLast] = dlstm(x, weights, bias, 'DataFormat', 'CBT'); hLast = stripdims(hLast); % 去掉单例维度，方便后续全连接 end

dlstm要求你手动提供输入门的权重、遗忘门的权重、候选门权重和输出门权重。如果你不熟悉手写权重组织，有两条更省力的路：一是用lstmLayer搭建 Layer Graph，然后用dlnetwork封装；二是直接用trainNetwork配合sequenceInputLayer和lstmLayer做端到端训练。但前者在自定义损失和多步预测时更灵活，后者胜在代码量小。多变量预测基本都会涉及多步输出和 Attention 加权，所以建议一开始就走dlnetwork+ 自写训练循环的路线，否则后面加 Attention 可能要推翻重来。

2.3 Attention 接在 LSTM 后面还是并行？解码器的查询向量从哪来

Attention 在 TCN-LSTM 结构里最常见的位置是LSTM 输出序列之后：把 LSTM 在所有时间步的隐状态 h1...hT 作为键（key）和值（value），把 LSTM 最后一个时间步的隐状态 hT（或外部引入的另一个解码器输入）作为查询（query），计算每个历史时刻对当前预测的权重。这种结构在多变量预测里有一个直观含义：虽然 TCN 已经把感受野撑大了，但 LSTM 的隐状态还会对不同历史时刻的重要性做二次编码，Attention 则专门回答“预测明天的风速，昨天午后的突变到底该占多少权重”这个问题。

一个轻量且有效的注意力实现是加性 Attention（Bahdanau-style），比乘法 Attention 更适合多变量时间序列，因为它不要求查询和键的维度完全一致。Matlab 里的实现如下：

function [context, attWeights] = attentionLayer(hSeq, hLast, Wq, Wa, ba) % hSeq: [hiddenUnits, seqLen, batchSize] % hLast: [hiddenUnits, batchSize] % 1. 用可学习矩阵 Wq 把 hLast 投影成查询向量 q = Wq * hLast; % [attUnits, batchSize] % 2. 把查询向量广播到每个时间步，与 hSeq 拼接后经过 tanh seqLen = size(hSeq, 2); batchSize = size(hSeq, 3); qExpanded = repmat(q, [1, seqLen, 1]); % [attUnits, seqLen, batchSize] % 3. 拼接并映射为标量分数 hSeqCatted = cat(1, hSeq, qExpanded); % [hiddenUnits + attUnits, seqLen, batchSize] scoreMatrix = Wa * tanh(ba + hSeqCatted); % [1, seqLen, batchSize] % 4. softmax 归一化得到注意力权重 attWeights = softmax(scoreMatrix, 'DataFormat', 'CBT'); % 5. 对所有时间步的 hSeq 加权求和 context = sum(hSeq .* attWeights, 2); % [hiddenUnits, 1, batchSize] context = squeeze(context); % [hiddenUnits, batchSize] end

这里有个容易被忽略的细节：softmax的归一化维度必须是时间步。如果你按 batch 维度归一化，所有批次的权重之和为 1，每个预测点的注意力分布就完全错了。另一点是repmat展开查询向量的方式，务必保证是沿时间步复制，而不是沿通道复制，否则维度对不齐会直接报错，或者更糟——不报错但结果全错。

2.4 三块模型拼起来后，各层参数应该怎么设

网络搭好之后，参数选择直接决定收敛速度。以下是针对多变量时间序列预测的推荐配置，如果你的数据采样频率、序列长度跟下表差距过大，再手动调整：

% 超参数配置（以6输入变量、预测未来3步为例） numFeatures = 6; % 输入变量个数 numFilters = 32; % TCN 每层卷积核数量 numLevels = 4; % TCN 膨胀层数：1,2,4,8 numHidden = 64; % LSTM 隐状态维度 attUnits = 32; % Attention 投影维度 numOutputs = 3; % 预测步数 dropoutRate = 0.2; % TCN 和 LSTM 之间建议加 dropout

TCN 的卷积核大小一般取 3 或 5，取 7 会显著增加参数量但感受野提升有限，除非你做的是高频采样（>100Hz）的振动信号，否则不推荐。LSTM 的隐状态维度不需要比 TCN 的输出通道数大太多，64 到 128 之间足够覆盖大多数多变量场景。Attention 的投影维度设置为隐状态维度的一半左右，有利于防止过拟合。以上配置的参数总量大约在 8 万到 20 万之间，用 CPU 跑 1000 轮也只需几分钟，属于训练成本可接受的范围。

3. 多变量时间序列的数据组织：从 Excel 表格到 train/test 张量的完整预处理

3.1 多变量输入的矩阵构造：用滑动窗口做样本切分

多变量预测的输入不是把所有变量拼成一个长向量喂给网络，而是构造一个二维矩阵切片：每个样本包含[时间窗口长度, 变量个数]，目标是对应未来某个时刻的单变量或多变量取值。以 6 个输入变量、历史窗口 24 步、预测未来 3 步为例，样本形状是[24, 6]，标签形状是[3, 1]（单输出）或[3, 6]（多输出）。

在 Matlab 中完成滑窗切分有现成方案，但要注意不要在一个循环里硬套for i = 1:N逐行复制，数据量一大就卡死。推荐用矩阵预分配加向量化索引：

function [X, Y] = createSlidingWindow(data, inputSteps, predSteps) % data: [numSamples, numFeatures] 原始多变量时间序列 % inputSteps: 历史窗口长度 % predSteps: 预测步数 numSamples = size(data, 1); numFeatures = size(data, 2); numObs = numSamples - inputSteps - predSteps + 1; % 预分配张量 X = zeros(inputSteps, numFeatures, numObs); Y = zeros(predSteps, numObs); % 单变量预测；多变量预测时改成 predSteps x numFeatures x numObs for i = 1:numObs X(:, :, i) = data(i:i+inputSteps-1, :); Y(:, i) = data(i+inputSteps:i+inputSteps+predSteps-1, 1); % 预测第一个变量 end % 转成 dlarray 需要的数据格式 'CBT'（通道、时间步、批次） X = dlarray(X, 'CBT'); Y = dlarray(Y, 'CT'); end

注意这里X的第三个维度是样本序号，dlarray的格式标记CBT分别对应Channel（变量）、Batch（时间步）、Time（样本）。Matlab 的 Deep Learning Toolbox 对CBT的解析是：第一维是特征通道（变量），第二维是序列长度，第三维是样本批次。很多新手在预处理时把numSamples放在第一维，然后强行 reshape 会得到错误序列，因为 Matlab 按列优先存储，data(i:i+window-1, :)的切片顺序恰好是按行排列的，但用dlarray(... , 'CBT')后需要确定你的源数据是samples x features还是features x samples，这取决于 CSV 导入时的转置，非常容易踩坑。建议在导入数据后先打印size(data)确认行列，再决定是否需要转置。

3.2 归一化必须分 train/test 两套统计量，防止未来信息泄漏

多变量时间序列预测里最值钱的技巧往往不是模型结构，而是归一化的边界处理。很多人直接用整个数据集计算均值方差再做zscore归一化，这在离线实验里能跑出很高的 R²，但推到线上实时预测时模型就废了——因为测试集的均值方差参与了训练时的特征缩放，相当于让模型提前知道了测试集的分布信息。

正确的做法是只从训练集计算mu和sigma，然后用同一组参数去处理验证集和测试集。下面的代码演示了这一点：

% 假设 dataTrain 是 [numFeatures, trainLen, batchSize] 的原始数据 % 关键：训练集的 mu/sigma 要保存到文件中，线上预测时复用它 mu = mean(dataTrain, 2); % 按特征维度求均值 sigma = std(dataTrain, 0, 2); % 按特征维度求标准差 dataTrainNorm = (dataTrain - mu) ./ sigma; dataTestNorm = (dataTest - mu) ./ sigma; % 用训练集的 mu/sigma % 保存归一化参数 save('normalization_params.mat', 'mu', 'sigma');

保存normalization_params.mat这一步不是可选项。当你把模型部署到生产环境时，新进来的实时数据必须用同一组mu和sigma做变换，否则模型输入分布和训练时不一致，预测值会系统性偏移。如果标签（预测目标）也做了归一化，那么预测结果反归一化时同样要使用训练集的统计量。

3.3 数据切分的三种方式和各自适用场景

多变量时间序列的切分不是简单的randperm随机打乱，时序数据打乱会直接破坏时间依赖关系。常用切分方式有三种：

第三种方式的具体实现是walk-forward validation：先把窗口放在第 1 到第 N 个样本上训练，预测 N+1 到 N+k 的样本；然后把训练集扩展到第 1 到 N+k 个，再预测 N+k+1 到 N+2k 个。这比单次切分稳定得多，在 Matlab 中不建议自己写循环，用timeseries相关的tsne或crossval需要特别小心，因为内置函数不一定支持任意自定义网络。我一般会直接手写：

numFolds = 5; foldLen = floor(size(dataNorm, 2) / (numFolds + 1)); for f = 1:numFolds trainEnd = f * foldLen; testStart = trainEnd + 1; testEnd = min(trainEnd + foldLen, size(dataNorm, 2)); XTrain = dataNorm(:, 1:trainEnd); XTest = dataNorm(:, testStart:testEnd); % 训练 + 评估 end

3.4 CSV 导入的常见坑：时间戳列、缺失值、不同变量量纲差异

Matlab 的readtable读取 CSV 时，第一列是时间戳，会被自动识别为datetime类型，但这个类型不能直接进入dlarray张量运算，需要先移除。另一个常见问题是缺失值，readtable会把空值填成NaN，如果数据里存在缺失，直接用mean(data, 2)计算归一化参数会得到NaN，进而让整个训练崩溃。

推荐的处理顺序是：导入 CSV → 删除时间戳列 → 逐列填充缺失值（线性插值或前向填充）→ 剔除异常突变 → 再进入滑窗切分。下面的代码给出了一个完整的导入清洗流程：

% 1. 导入数据，第一列是时间戳 rawData = readtable('multivariate_series.csv'); timestamps = rawData{:, 1}; % 单独保留，不参与训练 vals = rawData{:, 2:end}; % 取出数值矩阵 % 2. 缺失值用线性插值填充 [rows, cols] = size(vals); for c = 1:cols missingIdx = isnan(vals(:, c)); if any(missingIdx) xq = find(missingIdx); x = find(~missingIdx); vals(missingIdx, c) = interp1(x, vals(~missingIdx, c), xq, 'linear'); end end % 3. 保存清洗后的数据 finalData = [timestamps, array2table(vals)]; writetable(finalData, 'cleaned_multivariate_series.csv');

量纲差异的处理不能只靠网络内部的归一化解决。如果某个变量的数值范围是 0.001 到 0.01，另一个是 10000 到 100000，即使做了 zscore，TCN 的初始卷积核也可能在一开始把梯度集中于大方差变量上。所以部分从业者会选择先做log1p变换再归一化，这适用于流量、降水量这类右偏分布明显的变量。

4. Matlab 实现训练循环：自定义损失、学习率调度与 GPU/CPU 切换

4.1 在dlnetwork中完整定义 TCN-LSTM-Attention 网络结构

前面的 TCN 块、LSTM 编码器和 Attention 层都是独立函数，要把它们组合成端到端的可训练网络，需要用dlnetwork做封装。dlnetwork的好处是可以混合使用内置层和自定义函数，整个前向传播写成一个函数，训练循环直接调用。

% 定义完整的 TCN-LSTM-Attention 前向传播 function [yPred, attWeights] = tcnLstmAttentionNet(X, params) % X: [numFeatures, seqLen, batchSize] 归一化后的输入 % params: 包含各层权重和偏置的结构体 % ---------- TCN 特征提取 ---------- z = X; for level = 1:numel(params.tcn) z = tcnBlock(z, params.tcn(level).numFilters, 2^(level-1)); end % ---------- LSTM 时序压缩 ---------- [hSeq, hLast] = lstmEncoder(z, params.lstmWeights, params.lstmBias); % ---------- Attention 加权 ---------- [context, attWeights] = attentionLayer(hSeq, hLast, ... params.Wq, params.Wa, params.ba); % ---------- 输出层 ---------- yPred = params.fc * context + params.fcBias; % [numOutputs, batchSize] end

这段代码里有几个关键设计决策。第一个是params用结构体组织，而不是把各层权重分散在不同变量里，因为在自定义训练循环中你需要对全部可训练参数求梯度，集中管理方便你一次性调用dlgradient。第二个是 Attention 的context不是直接拼全连接层，而是先做了一次squeeze（代码里在函数内部），因为dlarray的维度标记在多层函数调用后可能会多出单例维度，全连接层对维度很敏感。第三个是输出层只用了一个简单的全连接映射，不需要再接 LSTM 或反卷积。

4.2 自定义训练循环：用dlgradient做自动求导，避免trainNetwork的局限

使用内置的trainNetwork训练 TCN-LSTM-Attention 会碰壁，原因是 Attention 层的自定义实现通常不兼容 LayerGraph 的自动组装要求。所以更稳妥的路线是写自定义训练循环，用dlgradient和adamupdate完成梯度更新。一个最小可运行版本如下：

function [trainedParams, lossHistory] = trainTcnLstmAttention(XTrain, YTrain, params, opts) % XTrain: [numFeatures, seqLen, batchSize] % YTrain: [numOutputs, batchSize] % opts: 结构体，包含 learnRate, maxEpochs, miniBatchSize, 等 numObservations = size(XTrain, 3); numIterationsPerEpoch = floor(numObservations / opts.miniBatchSize); lossHistory = []; % 记录训练损失 averageGrad = []; averageSqGrad = []; globalIter = 0; for epoch = 1:opts.maxEpochs % 按小批次切分数据 idx = randperm(numObservations); for it = 1:numIterationsPerEpoch globalIter = globalIter + 1; batchIdx = idx((it-1)*opts.miniBatchSize + 1 : it*opts.miniBatchSize); XBatch = XTrain(:, :, batchIdx); YBatch = YTrain(:, batchIdx); % 计算损失和梯度 [loss, grads] = dlfeval(@modelLoss, XBatch, YBatch, params); % Adam 更新 [params, averageGrad, averageSqGrad] = adamupdate(params, grads, ... averageGrad, averageSqGrad, globalIter, opts.learnRate, 0.9, 0.999, 1e-8); lossHistory(end+1) = extractdata(loss); end % 每个 epoch 结束打印损失 fprintf('Epoch %d, Loss: %.4f\n', epoch, lossHistory(end)); end trainedParams = params; end function [loss, grads] = modelLoss(XBatch, YBatch, params) [yPred, ~] = tcnLstmAttentionNet(XBatch, params); loss = mse(yPred, YBatch); grads = dlgradient(loss, params); end

这个循环的要点在dlfeval的使用：modelLoss内部先做一次前向传播，再计算均方误差（MSE），最后对params求梯度。Matlab 的自动微分要求所有运算必须基于dlarray类型，如果你的数据在进入tcnBlock前被转换成了普通 double，梯度计算会直接报错。另外adamupdate是 R2021a 之后引入的函数，更早的版本需要自己实现 Adam 动量更新。

4.3 三个必调的优化参数：初始学习率、梯度裁剪、MiniBatchSize

多变量时间序列预测的 MSE 损失面通常比较崎岖，TCN 的残差连接和 LSTM 的门控结构对学习率都很敏感。以下是三组参数的推荐取值范围和调整依据：

梯度裁剪在 Matlab 的实现很简单，在adamupdate之前加两行：

% 梯度裁剪：限制每个参数的梯度范数不超过 5 grads = dlupdate(@(g) min(max(g, -5), 5), grads);

也可以写成dlupdate(@(g) max(min(g, clipValue), -clipValue), grads)，但注意裁剪要比直接硬裁梯度更温和，逐参数裁剪比全局范数裁剪在 TCN 这种多层残差结构中更容易保持稳定。如果训练若干轮后损失仍在抖动，可以考虑在最后 30% 的 epoch 把学习率乘以 0.1，用learningRateSchedule实现手动衰减。

4.4 训练时如何观测过拟合：训练损失与验证损失的 gap 控制

训练损失持续下降但验证损失在第 50 个 epoch 开始回升，是过拟合的典型信号。多变量预测里出现过拟合的频率比你想象得高，因为 TCN 的卷积核共享了大量特征，如果历史窗口太长而数据量不够，模型很容易记住个别样本的噪声模式。

建议每 5 个 epoch 在验证集上计算一次损失，记录在valLossHistory中。一个简单的早停策略是：如果连续 10 次验证损失没有低于历史最低值，就终止训练并恢复到最低验证损失对应的参数。在 Matlab 中恢复历史最佳参数需要你在训练循环中维护一份bestParams的深拷贝：

if valLoss < bestValLoss bestValLoss = valLoss; bestParams = params; bestEpoch = epoch; end

训练结束后，用bestParams而不是最后一轮迭代的params作为最终模型。这一步能有效避免你拿一个已经过拟合的模型去做测试集评估。

5. 多步预测策略与评估指标：直接多步、递归多步和序列生成

5.1 三种多步预测的实现方式和代码对比

多变量时间序列预测的“多步”有两种理解：一是预测未来多个时刻的同一变量，二是同时预测未来多个变量。TCN-LSTM-Attention 能同时支持这两种输出。在实现多步输出时，有三种常见策略：

策略一：直接多步预测（Direct Multi-step），输出层有numOutputs个神经元，一次前向计算直接得到未来 3 步的值。实现简单、误差不会累积，但需要标签对应多个时刻，且输出步数增加时模型参数同步膨胀。如果predSteps是 3，你的params.fc的维度就是[3, contextDim]。

策略二：递归多步预测（Recursive Multi-step），模型只预测下一步，然后把预测值作为输入拼到历史窗口末尾，循环预测后续时刻。这个方式参数最少，但误差会随预测步数增加而累积，两三步内还能接受，超过五步就不建议了。在代码层面，递归预测需要维护一个动态输入矩阵：

function yRecursive = recursivePredict(model, X0, numSteps) % X0: [numFeatures, seqLen, 1] 初始历史窗口 yRecursive = zeros(1, numSteps); XWindow = X0; for s = 1:numSteps yStep = model(XWindow); yRecursive(s) = yStep; % 把新预测值追加到窗口末尾，并丢弃窗口第一个时刻 XWindow = cat(2, XWindow(:, 2:end, :), yStep); end end

策略三：序列生成（Seq2Seq），TCN-LSTM-Attention 本身不是序列生成模型，但你可以通过把“预测值”作为解码器的输入，让网络学习多步之间的条件依赖。这种方式精度最高，但训练复杂度和计算代价也最高，数据量小于 1 万条时效果反而不如直接多步。

5.2 MAE、RMSE 和 R² 的计算与可视化：不只是调一个mse函数

评估预测结果的标准指标有三个：MAE（平均绝对误差）、RMSE（均方根误差）和 R²（决定系数）。Matlab 里计算很方便，但需要特别注意：反归一化之后再算指标，而不是在归一化域里算。很多文章会忽略这一点，导致 RMSE 小得离谱但没有实际物理意义。

% 反归一化预测值和真实值 yPredDenorm = yPred .* sigma + mu; yTrueDenorm = yTest .* sigma + mu; % 计算 RMSE / MAE / R2 rmseVal = sqrt(mean((yPredDenorm - yTrueDenorm).^2, "all")); maeVal = mean(abs(yPredDenorm - yTrueDenorm), "all"); ssRes = sum((yTrueDenorm - yPredDenorm).^2, "all"); ssTot = sum((yTrueDenorm - mean(yTrueDenorm, "all")).^2, "all"); r2Val = 1 - ssRes / ssTot; % 绘图对比 figure; plot(yTrueDenorm, 'LineWidth', 1.5); hold on; plot(yPredDenorm, 'LineWidth', 1.5); legend('真实值', '预测值'); title('TCN-LSTM-Attention 多变量预测结果对比'); xlabel('时间步'); ylabel('预测目标变量'); grid on;

这里用"all"选项计算全局均值，避免当yPred是矩阵时mean默认按列处理导致维度广播错误。绘图时如果预测线和真实线完全重叠，要小心是否发生了数据泄漏；正常的多步预测在转折点处会有明显偏差，这是模型捕捉滞后性的正常表现。

5.3 注意力权重可视化的落地方式：画出每个历史时刻的贡献度

TCN-LSTM-Attention 相比普通 LSTM 的一个隐性优势在于，Attention 权重可以解释为“模型在做预测时，更关注历史窗口中的哪些时间点”。在多变量预测的实际项目中，这个可视化往往比模型本身更有价值——它能帮你判断模型是否学到了合理的物理规律。比如在风电功率预测中，如果 Attention 权重集中分布在过去 1-3 小时而不均匀分布在 24 小时窗口内，说明模型对近期数据更敏感，与风速的持续性特征一致。

在attentionLayer函数中，我们已经把attWeights作为第二个输出返回了，因此只需在训练结束后提取权重并绘图：

% 取一个测试样本做前向传播 [yPredSample, attW] = tcnLstmAttentionNet(XTestSample, bestParams); attW = extractdata(attW); % 从 dlarray 中提取普通 double attW = squeeze(attW); % 去掉单例维度 % 绘制注意力分布 figure; bar(1:seqLen, attW); xlabel('历史时刻索引'); ylabel('Attention 权重'); title('TCN-LSTM-Attention 注意力权重分布');

如果attW的数值几乎均匀分布在所有时间步上，说明 Attention 没学到有效的依赖关系，常见原因是 LSTM 隐状态维度太小或者 Attention 投影层attUnits设得过大，导致梯度信号在 attention 层过弱。

5.4 与纯 TCN 和纯 LSTM 的对比实验：怎么设计才公平

要证明 TCN-LSTM-Attention 有效，必须与基线模型做对比，但对比实验的公平性经常被忽略。公平对比不代表“用同一份数据跑三个模型”，而是三方使用相同的归一化参数、相同的历史窗口、相同的预测步数、相同的损失函数、相同的评估指标，且训练轮数不能不同。如果 TCN-LSTM-Attention 因为残差连接收敛快所以训练 200 轮，而纯 LSTM 收敛慢只训练 100 轮，对比就失去了意义。

建议在你的实验脚本中把网络结构设计成可配置的函数，用modelType参数切换三种结构：

switch modelType case 'tcn' yPred = tcnOnlyNet(X, params); case 'lstm' yPred = lstmOnlyNet(X, params); case 'tcn_lstm_attn' yPred = tcnLstmAttentionNet(X, params); end

三个模型使用完全相同的adamupdate循环和MSE损失函数，唯一的区别是网络内部结构。最后在测试集上比较 RMSE 和 R²，同时记录训练耗时——TCN-LSTM-Attention 比纯 TCN 训练慢是这个混合结构的正常代价，如果慢得超过 3 倍，考虑检查是否在小批次数据上重复调用了dlfeval导致自动微分计算图重复建立。

6. 最后一章：高频踩坑清单与线上部署的模型落地技巧

6.1 五个高频踩坑点与即时修复方案

逐个列出多变量时间序列预测里最容易出问题的环节，对应修复方法直接给到。

相关性输入泄漏：如果你把预测目标的滞后值也作为输入特征，模型会学到“上一时刻的值几乎等于下一时刻”，测试集上 R² 高达 0.99 但没有任何实际部署价值。修复方法是把这类强自相关特征从输入中剔除，或者将预测目标做差分后再建模。

dlarray格式不匹配：Matlab 在自定义训练循环里对维度标记极其严格，'CBT'和'CTB'的区别会让你的网络要么不收敛，要么直接报维度错误。修复方法是每次前向传播时打印size(z)，并在每个函数入口处用assert强化约束条件：

assert(ndims(X) == 3, '输入 X 必须是三维 dlarray'); assert(size(X, 3) >= 2, '批次维度至少为2');

Adam 更新时梯度可能为[]：当某个参数没有参与当前 batch 的前向计算时（因为残差分支没有激活），它的梯度为空，adamupdate会崩溃。修复方式是在modelLoss返回前给所有梯度填充零：

grads = dlupdate(@(g) fixEmptyGrad(g), grads); function gOut = fixEmptyGrad(g) if isempty(g) gOut = zeros(size(g, 'like', g)); else gOut = g; end end

预测结果全部是常数：如果输出层的权重初始化为零，或者 LSTM 隐状态经过 Attention 加权后几乎为零，模型可能收敛到一个平庸解，即输出固定为训练集标签的均值。修复方法是检查params.fc是否有非零初始值，并把输出层的权重初始化为0.01 * randn(...)。

多变量输入时对每个变量做单独归一化：如果不同变量的量纲差异极大，必须按照每个特征列独立计算 mu 和 sigma，而不是对整个矩阵做一次全局归一化。全局归一化会让小尺度变量的数值被压缩到接近零，网络直接忽略该变量。修复方法是在归一化时指定维度参数mu = mean(data, 2)，这个 2 代表对时间步维度求均值，得到的mu是numFeatures x 1的向量，与每个特征一一对应。

6.2 训练完成后导出为可部署的模型文件

用dlnetwork训练的自定义参数不能直接使用save保存完事。推荐将bestParams连同归一化参数mu、sigma，以及模型配置（numFilters、numLevels、numHidden、predSteps）打包成结构体，保存为.mat文件：

modelInfo = struct(); modelInfo.params = bestParams; modelInfo.mu = mu; modelInfo.sigma = sigma; modelInfo.config = struct(... 'numFilters', numFilters, ... 'numLevels', numLevels, ... 'numHidden', numHidden, ... 'attUnits', attUnits, ... 'inputSteps', inputSteps, ... 'predSteps', predSteps); save('tcn_lstm_attention_model.mat', 'modelInfo');

部署端加载模型时，必须先读取config里的参数重建网络结构，然后把params赋给网络，用mu和sigma对输入做归一化，预测后再反归一化。千万不要在部署端重新计算归一化参数，这是线上预测和离线实验结果不一致的最常见原因。

6.3 两个提高实战效果的小技巧：引入外生变量与多模型集成

多变量时间序列预测中，输入变量可以分成内生变量（预测目标的历史值）和外生变量（其他观测序列）。TCN-LSTM-Attention 能自动处理这两类变量的混合输入，但对外生变量的尺度敏感。一个实战技巧是把外生变量的当前时刻值（而不只是历史值）也拼到特征矩阵的最后一列。这在交通流量预测里效果明显：预测目标是车流量，外生变量是天气降雨量，降雨量当前时刻的值——注意是当前时刻而不是历史时刻——对预测有直接因果作用。

集成方法上，不要做简单的权重平均。常见做法是训练三个不同种子的 TCN-LSTM-Attention，在验证集上计算每个模型的 RMSE，然后用 RMSE 的倒数作为加权系数做线性融合。这个方法比简单平均在 RMSE 上稳定降低 2% 到 4%，且实现起来仅需几行代码：

weights = 1 ./ [rmseModel1, rmseModel2, rmseModel3]; weights = weights / sum(weights); yEnsemble = weights(1)*yPred1 + weights(2)*yPred2 + weights(3)*yPred3;

加权融合后的预测曲线会比任何单一模型都平滑，原因是不同随机种子带来的方差被部分抵消了，这在多步预测中能显著降低转折点的过冲幅度。若想进一步压缩误差，可以把三个模型的预测值和历史特征一起输入到一个小型全连接网络做堆叠（stacking），但这需要你留出一段独立的验证集来训练这个元模型，数据量不足 5000 条时不建议采用。

本文还有配套的精品资源，点击获取