基于MediaPipe和时空Transformer的工业动作识别工程实践

1. 为什么我用 MediaPipe 而不是 HRNet 或 OpenPose 做动作识别

很长一段时间里，我的动作识别模型骨架都用 HRNet 或 OpenPose，它们精度确实能打，但每次换摄像头角度、换人种、换服装颜色，模型就“失灵”一阵子。后来做装配动作识别项目时，甲方要求在普通工位摄像头（分辨率才 720p，帧率 25fps）上做到实时告警，还要能部署到没有 GPU 的终端，HRNet 那套方案直接被毙掉了。折腾了几周后，我把底层姿态估计换成了 MediaPipe，上层动作分类自己搓了一个时空 Transformer，这套组合一直稳定跑到现在。

先说结论：MediaPipe 在“工程可用性”上，比很多论文级姿态估计方案更适合做实时动作识别的底座。它输出的是 33 个身体关键点（Face 部分还能额外给 468 个点，但做动作识别一般用不到），包含 x、y、z 坐标和可见性分数。最关键是它自带追踪和时序平滑，同一帧输入不会像 OpenPose 那样出现关键点 ID 乱跳的现象——这对后续用 Transformer 做时序建模至关重要。你想想，如果前一帧的“左肩”在真实空间是左肩，下一帧变成右肩了，Transformer 学到的全是错位信息，精度再高也白搭。

我还专门做过对比实验：同一个装配动作数据集，分别用 MediaPipe 和 OpenPose 提取关键点，再喂给同一个分类模型。MediaPipe 提取的序列在分类准确率上比 OpenPose 高 4.2 个百分点，主要差异就在关键点 ID 的稳定性和 z 轴坐标的平滑度上。OpenPose 的图优化在多人场景下延迟高，单人场景又有点“杀鸡用牛刀”，MediaPipe 的人体姿态方案对单人场景针对性更强，单人、光照一般、固定摄像头这些装配工位的现实条件它几乎全占优。

2. MediaPipe 姿态数据怎么处理才能喂给时空 Transformer

2.1 从每帧 33 个关键点到时空序列的形态转换

MediaPipe 返回的关键点坐标是相对于图像宽度和高度的归一化值，x 和 y 在 0～1 之间，z 是以髋部中心为原点的深度估计，单位不固定，尺度也随人体距离镜头远近变化。直接用原始坐标训练，模型很容易过拟合到训练集里的身高、站位距离上，换个工位就不灵。

我的做法是先把坐标做标准化，这一步比选模型还重要。具体流程是：

1. 取每帧的关键点坐标数组（共 33×3 = 99 个值）。
2. 计算所有关键点坐标的均值和方差（注意是每个点每个维度的统计量，不是全局）。
3. 用训练集统计的均值和方差做 z-score 标准化。

但这里有个坑：z 轴距离的尺度太大，直接把 x、y、z 拼一起标准化，x 和 y 的细节基本被淹没。我的解决方法是把 z 轴单独处理：z 轴信息归一化到和 x、y 同等的量级后，再乘以一个可学习的权重系数，让模型自己决定 z 轴信息有多重要。这个权重因子只在模型输入端加，后续 Transformer 内部不再动它。实测下来，这样做动作识别的准确率比直接拼原始坐标高 2.8 个百分点，尤其在“抬手幅度”“弯腰幅度”这类依赖深度信息的动作上提升明显。

2.2 时间窗口与采样策略：多少帧才合理

时空 Transformer 的时间维度不能太长也不能太短。动作识别任务里，单次简单动作（比如“手势识别”里的握拳、张手）通常 15～30 帧就能表达。但装配动作识别就复杂了，像“拧螺丝”“贴标签”“插拔线束”这种动作，快的可能 5 帧结束，慢的能持续 80 帧，设置固定窗口很难两头兼顾。

我试过三种方案：

• 固定窗口 30 帧：快动作太短，慢动作太长，效果差。
• 滑动窗口 30 帧 + 步长 5 帧：效果可以，但计算量翻倍。
• 动态窗口：通过检测手部关键点的运动速度来决定从哪一帧开始截取动作段，超出速度阈值就重新开始窗口。实际效果最好，但实现复杂度高，需要额外调阈值。

最终生产环境里我选择了固定窗口 30 帧 + 重叠 15 帧的方案。原因是装配动作的时序结构相对规整，固定窗口训练更稳定；重叠的帧让相邻窗口之间有足够的上下文延续性，不会因为动作刚好在窗口边界处被切断而误判。采样方面，如果原始视频帧率是 25fps，我一般直接按 10fps 进行时间降采样，把 1 秒的序列压缩到 10 帧，这样 30 帧窗口能覆盖 3 秒的动作段，基本覆盖绝大多数装配动作的时长。注意这里不能随机采样，而是要确保均匀取帧，否则动作的时间结构会被打乱。

2.3 多人场景怎么办：先跟踪，再单人切分

MediaPipe 的 Pose 模块一次最多能输出 6 个人体，但动作识别场景下多人往往会造成干扰。我用的装配工位是单人作业，但如果做健身房动作纠正或者看护场景，会同时出现多人。处理逻辑是：

• MediaPipe 会返回每个人体的编号，这个编号在连续帧之间保持稳定。我先利用这个稳定性做人体的短时跟踪。
• 然后根据业务需求选主目标，常见规则是：离画面中心最近、面积最大、或者某个业务定义的“目标人”（比如戴着特定安全帽的人）。
• 选好后，只提取主目标的关键点序列，后续时序模型只处理这一条流。

如果多人频繁交叉遮挡，MediaPipe 的编号也会跳变，这个不能完全避免。我的备用方案是加上一个轻量级 ReID 特征（利用姿态关键点算一些几何特征，比如身高占比、肩宽占比），如果编号跳变，就用 ReID 特征重新关联对应的人。这个逻辑我跑通了，但复杂度高，建议在真正有需求的项目里再加。

3. 时空 Transformer 架构怎么设计才能兼顾精度和速度

3.1 为什么坚决不用图卷积或 LSTM

关键点数据本身是非欧几里得结构，图卷积听起来很自然——人体骨架本身就是一张图。但图卷积有两个实际痛点：一是对关键点缺失很敏感，MediaPipe 偶尔会有一两个关键点置信度低，图结构一破，传播全乱了；二是图卷积的动态性不够，它需要的邻接矩阵通常是固定的（按人体结构定义的边），难以表达“手靠近头”这种动态的空间关系。

LSTM 则是在时序建模上有优势，但它在长时间序列上的记忆能力有限，而且难以捕捉长距离关键点之间的空间关系。姿态估计动作识别的核心是“空间结构”和“时间动态”的组合，LSTM 天然建模时间，空间结构主要靠输入特征映射来学，这对复杂的装配动作远远不够。

时空 Transformer 的优势在于用注意力机制同时建模空间和时间关系。关键点之间有遮挡或低置信度时，注意力机制会自动调整权重，不会因为一两个点缺失就整体崩溃。而且 Transformer 可以并行处理整个 30 帧序列，训练速度和推理速度都比 LSTM 的迭代方式快得多。

3.2 我的方案：双流时空注意力，空间先编码，时间再融合

我最终实现的方案不是直接套用 ViViT 或者 TimeSformer，而是做了一个简化版的双流结构，更适合关键点序列这种小数据量场景。

整个模型的输入形状是(batch, seq_len=30, num_keypoints=33, coords_dim=3)。首先把每个关键点的坐标通过线性层映射到 128 维的 token 向量，得到(batch, 30, 33, 128)的形状。然后我做了两步处理。

第一步，空间 Transformer 编码器。在每个时间步独立处理 33 个关键点，让关键点之间先做信息的空间交互。我在这里加入了一个可学习的空间位置编码（Spatial Positional Encoding），它是对每个关键点 ID（0～32）学习的向量，相当于告诉模型“这是左肩”“这是右手腕”。这一步很重要，因为如果不加位置编码，Transformer 就会把所有关键点当成无序集合，手脚关系完全乱套。空间编码器有 4 层，每层 4 个注意力头，前向计算 FLOPs 不大，推理时不会成为瓶颈。

第二步，时间 Transformer 编码器。在空间编码之后，我把输出 reshape 成(batch, 33, 30, 128)，对每个关键点的时间步序列做注意力计算。这里有 33 个独立的流，并不共享参数吗？不是，我用的是一个共享的时间编码器，参数在 33 个关键点之间共享。这样既能学习到通用的时序动态模式，又不会让参数量爆炸。时间编码器也是 4 层，4 头，输入的 token 来自同一个关键点在不同时刻的 128 维特征向量。

最后，把空间和时间编码得到的特征拼接起来，接一个全连接层映射到类别数上。整个模型参数量约 5M，用 RTX 3060 训练单 epoch 只需两分钟，推理时模型单次前向约 3ms（用 TensorRT 加速后约 1.2ms），完全满足实时性要求。

3.3 训练时的输出头设计：分类头之外还有置信度头

动作识别不是只有“动作类别”一个输出。两个不同动作的过渡阶段，或者 MediaPipe 关键点置信度极低时，模型很容易输出“看起来确定但实际不靠谱”的分类结果。所以我额外加了一个置信度输出头：输入是 Transformer 倒数第二层的全局特征，输出一个 0～1 的置信度值。这个置信度不是归一化后的 softmax 概率，而是真实的“姿态可识别程度”。训练时用回归 loss 来约束它，标签设置是：如果这个窗口内关键点平均置信度大于 0.7 且动作标注明确，则标签为 1；否则标签为 0 或按比例缩小。

推理时，只有当置信度头输出大于 0.5 时，模型返回的动作类别才被采纳，否则返回“未知动作”。这在装配动作识别场景特别重要——遇到一个从未见过的动作，与其乱猜一个“拧螺丝”，不如告诉系统“暂时无法识别”。甲方宁可收到“未知”，也不愿意接受错误告警。

4. 动作识别训练时那些决定成败的细节

4.1 数据增强：不是给图像加噪，而是动关键点

关键点数据增强和图像增强完全不同。你不可能对姿态序列加高斯噪声模拟图像模糊，那样反而会破坏动作本身的自然性。我常用的增强手段有三类：

• 空间扰动：对关键点坐标做小角度旋转（±15°）、缩放（0.85～1.15）、平移（±5% 图像宽高）、水平翻转（翻转时注意左右关键点 ID 的互换，如果不换，模型永远学不会镜像动作）。
• 时间扰动：时间上做随机裁剪和速度扰动。速度扰动就是把序列在时间维上随机拉长和缩短，比如将 30 帧的序列线性插值成 20 帧或 40 帧，然后缩放到 30 帧的窗口。这能模拟同一动作不同执行速度的问题。
• 遮噪：随机把 1～2 个关键点整段置零，模拟 MediaPipe 漏检的情况。这能提升模型的鲁棒性。

特别注意水平翻转时左右关键点 ID 的映射表要自己维护，MediaPipe 的 33 个关键点里左右是分开的，翻转之后左腕变右腕，如果不重新映射，数据就废了。这个细节我吃过亏，第一次翻代码看我漏了这步，损失函数完全没有下降。

4.2 类别不均衡：装配动作里“等待”类别占了 70%

装配动作数据里，大部分时间工人在做“拿取物料”“检查”“等待”，真实需要识别的核心动作（拧紧、插拔、贴装）只占一小部分。如果直接训练，模型会倾向于把所有窗口都预测为“等待”，因为这样整体准确率能到 70% 以上，但没有任何实际意义。

我的处理方式：

• 训练时对每个 batch重采样，核心动作类别的采样概率乘以 3～5 倍，保证每个 batch 里核心动作样本占至少 30%。
• 损失函数用Focal Loss（gamma=2）。动作执行瞬间的帧数少，特征模糊，Focal Loss 能让模型更关注难分类的样本，而不是把简单的“等待”样本一学就会。
• 评估时不用整体准确率，用每个类别的平均 F1-score，尤其关注少数类的召回率。这样调参时才能真实反映模型在关键动作上的表现。

这里还要注意一个容易忽略的问题：如果同一动作在数据集中出现多次，但执行时长的分布严重不均衡（比如有 10 分钟长时间拧螺丝，也有 3 秒短快速地拧），要额外做时长归一化。我的做法是把每个动作样本都缩放到统一窗口（30 帧），这天然消除了时长差异，但也丢掉了一些速度信息。如果速度本身是关键特征（比如“快速拧紧”和“慢速调整”是两个不同类别），就需要在时间扰动增强时保留速度的绝对尺度，不能统一插值到同样长度。

4.3 优化器和学习率策略：不要盲目用 AdamW

很多动作识别项目直接用 AdamW 吃遍天下，但我这里有个不一样的体验。用小学习率（3e-4）的 AdamW 训练，loss 最后能收敛到不错的水平，但泛化能力偏弱。后来我换成SGD（momentum=0.9）+ cosine annealing，最终测试集 F1 反而提升了 1.5 个百分点。原因是这个模型规模本身不大（手动设计的轻量 Transformer），SGD 能找到一个更平滑、更鲁棒的极值点，Adam 在训练初期冲得快，但后期在平坦区域容易震荡。

学习率调度我用的是warmup 5 epoch + cosine decay，初始学习率 0.05（SGD 大的），warmup 到 0.1，再逐步衰减到最小 1e-5，总共训练 150 epoch。权重衰减设 5e-4。还有一个技巧：把 BatchNorm 替换成 LayerNorm 在 Transformer 内部是必须的，但最后的全连接分类头之前我可以再加上一个标准的 BatchNorm（对 128 维特征做归一化），这会再次提升几个点的稳定性。

4.4 验证集设计：每个人单独划分，不要随机划分

装配动作数据集往往是由几个不同的人采集的。如果随机划分训练集/验证集，同一个人的动作片段会同时出现在两边，模型相当于“见过这个人怎么动”，验证集分数虚高。正确做法是按人物 ID 划分：把所有工人 A、B 的所有数据用来训练，用从未参与训练的工人 C、D 的数据来验证和测试，这样才能证明模型对新人的泛化能力。

我第一次没这样做，验证集 F1 有 92%，一换新人立刻掉到 78%。后来按人物划分后，验证集 F1 掉到 82%，这才是真实水平。也可以进一步按“工位 ID”“摄像头 ID”划分，暴露更多跨域迁移问题。

5. 从 0 到 1 手把手复现这套系统

5.1 环境配置和核心代码骨架

这里给出我实测可跑的完整环境清单和关键代码片段。基于 Python 3.9，PyTorch 2.0.1，MediaPipe 0.10.8（0.10.x 版本的 API 比 0.8.x 简单，关键点检测模型精度更高）。

首先安装依赖：

pip install mediapipe==0.10.8 torch==2.0.1 torchvision==0.15.1 opencv-python==4.8.0.76 numpy==1.24.3

MediaPipe 人体姿态提取的核心代码：

import mediapipe as mp import cv2 import numpy as np mp_pose = mp.solutions.pose pose = mp_pose.Pose( static_image_mode=False, model_complexity=1, smooth_landmarks=True, enable_segmentation=False, min_detection_confidence=0.5, min_tracking_confidence=0.5, )

model_complexity参数有三个档位：0 最快但精度差；1 是平衡档，实时性尚可；2 最慢但精度最高。我做装配动作识别时用的是 1，原因是 0 的 z 坐标抖动太厉害，Transformer 学起来很吃力；2 在 720p 分辨率下单帧推理约 20ms，CPU 上跑不动，但 GPU 上还可以接受。

每帧提取关键点：

cap = cv2.VideoCapture(video_path) keypoints_buffer = [] while cap.isOpened(): ret, frame = cap.read() if not ret: break frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = pose.process(frame_rgb) if results.pose_landmarks: keypoints = np.array([[lm.x, lm.y, lm.z] for lm in results.pose_landmarks.landmark]) else: keypoints = np.zeros((33, 3)) keypoints_buffer.append(keypoints) keypoints_buffer = np.array(keypoints_buffer) # shape: (T, 33, 3)

注意results.pose_landmarks为 None 时不能直接传空数组，后续标准化和 TF 需要填充值，我这里的习惯是用全 0 数组替代，同时需要在 mask 里标记这些无效帧，训练时让模型不要参考这些帧的 loss。完整实现里我会同时返回一个valid_mask，表示每个关键点是否有效（lm.visibility > 0.5才算有效）。

5.2 时空 Transformer 的 PyTorch 实现

核心实现如下，注释里标注了关键细节：

import torch import torch.nn as nn import math class SpatialTemporalTransformer(nn.Module): def __init__(self, num_keypoints=33, d_model=128, nhead=4, num_layers=4, num_classes=10): super().__init__() self.num_keypoints = num_keypoints self.input_proj = nn.Linear(3, d_model) self.spatial_pos_embed = nn.Parameter(torch.randn(1, num_keypoints, d_model) * 0.02) # 空间编码器 spatial_layer = nn.TransformerEncoderLayer( d_model=d_model, nhead=nhead, dim_feedforward=d_model * 4, dropout=0.1, activation='gelu', batch_first=True, ) self.spatial_encoder = nn.TransformerEncoder(spatial_layer, num_layers=num_layers) # 时间位置编码（可学习） self.temporal_pos_embed = nn.Parameter(torch.randn(1, 30, d_model) * 0.02) # 时间编码器 temporal_layer = nn.TransformerEncoderLayer( d_model=d_model, nhead=nhead, dim_feedforward=d_model * 4, dropout=0.1, activation='gelu', batch_first=True, ) self.temporal_encoder = nn.TransformerEncoder(temporal_layer, num_layers=num_layers) self.fc = nn.Linear(d_model, num_classes) self.confidence_head = nn.Linear(d_model, 1) def forward(self, x, valid_mask=None): # 输入 x: (batch, T, N, 3) B, T, N, C = x.shape # 线性映射 x = self.input_proj(x) # (B, T, N, D) x = x + self.spatial_pos_embed # 空间位置编码加到每个时间步 # 空间编码 x = x.reshape(B * T, N, -1) if valid_mask is not None: # 这里 valid_mask 形状也要展平，简单起见略 pass x = self.spatial_encoder(x) # (B*T, N, D) x = x.reshape(B, T, N, -1) # 时间编码，对每个关键点独立做时间注意力 x = x.permute(0, 2, 1, 3) # (B, N, T, D) x = x.reshape(B * N, T, -1) x = x + self.temporal_pos_embed # (B*N, T, D) x = self.temporal_encoder(x) # (B*N, T, D) # 全局池化：取每个关键点序列的均值，再所有关键点求和 x = x.reshape(B, N, T, -1) x = x.mean(dim=2) # (B, N, D) x = x.mean(dim=1) # (B, D) # 分类头 logits = self.fc(x) confidence = torch.sigmoid(self.confidence_head(x)) return logits, confidence

这个实现里有一个简化处理：时间维度的位置编码只在每个关键点的 T 个 token 上加，然后通过mean池化把所有关键点信息融合成一个全局向量。如果想保留更多空间细节，可以改成max池化或者只用右手和左手的关键点特征，但均值池化在大多数动作识别任务上表现很稳，且参数量更少。

有一点要注意：TransformerEncoderLayer内部自带dropout=0.1，训练时不要关，推理时自然关闭。在数据量少的情况下，可以加一个早停策略，用验证集 F1 作为早停指标，patience 设为 10。

5.3 训练循环中容易翻车的细节：mask 处理

很多人直接用全 0 填补无效帧，Transformer 会把全 0 当成“所有关键点聚集在原点”一样的位置特征。虽然 position embedding 加上后它们会有少量差异，但对模型还是会造成误导。我推荐的做法是在空间编码器中传入 key padding mask，让注意力机制忽略这些位置。

做法是修改forward，在空间编码器传入src_key_padding_mask：

def forward(self, x, valid_mask): B, T, N, _ = x.shape x = self.input_proj(x) x = x + self.spatial_pos_embed # valid_mask: (B, T, N) 0/1 mask = (valid_mask.reshape(B * T, N) == 0) # True 表示忽略 x = x.reshape(B * T, N, -1) x = self.spatial_encoder(x, src_key_padding_mask=mask) ...

注意这里因为每个时间步的 mask 不同，但TransformerEncoder支持每个 batch 数据指定不同的 mask，所以没有问题。但如果是用 TorchScript 或者 ONNX 导出，动态 mask 就需要小心处理，导出时建议将valid_mask为全 True 的情况（即所有关键点有效）走一个简化逻辑，否则推理引擎可能因为 mask 的 shape 不固定而报错。

5.4 实时推理流程：关键点缓冲、窗口滑动、输出融合

部署推理时，我采用一个典型的“缓冲-窗口-判稳”模式：

1. 每帧从摄像头获取图像，交给 MediaPipe 提取 33 个关键点，存入缓存队列（长度最大 60 帧）。
2. 每 5 帧取最近 30 帧的关键点序列，喂给 Transformer 得到类别和置信度。
3. 输出端做滑动窗口投票：如果在最近 3 次推理中同一个类别出现至少 2 次且置信度均大于 0.5，则确认这个动作类别并触发业务逻辑（告警、日志、统计）。
4. 如果连续 20 次推理都没有稳定类别，则输出“未知动作”。

这个策略的好处是既保证实时性，又避免单帧误判造成的抖动。每 5 帧推理一次，在 25fps 视频上相当于每秒 5 次动作判断，实际延时约 200ms，装配现场的工人动作基本都能捕捉到。

CPU 上推理我建议用 OpenVINO 或 ONNX Runtime 加速 Transformer，MediaPipe 本身有 CPU 版本优化。我测试过一台 i5-8250U 的旧笔记本，完整流程（MediaPipe+Transformer）CPU 推理一帧约 80ms，勉强满足 10fps；如果换成带 NPU 的边缘盒子，可以轻松跑到 30fps。

6. 真实场景落地：装配动作识别中那些避不开的问题

6.1 关键点置信度阈值怎么定

MediaPipe 的visibility值在正常情况下都能达到 0.95 以上，但当手部快速运动产生运动模糊时，有些点会掉到 0.6。如果一帧的关键点有超过 20% 的点visibility < 0.5，我应该直接丢弃这一帧，不参与序列构建。否则会让过渡帧的噪声污染整个窗口。

置信度阈值调参经验：min_detection_confidence=0.5和min_tracking_confidence=0.5算是不错的起点。调低到 0.4 可以提升单人的追踪连续性，但会增加误检；调高到 0.7 又会频繁漏检。一般环境稳定、光线好的室内，用 0.5 足够；户外或光照变化大的环境，最好用 0.6。

6.2 摄像头视角变化带来的域偏移

装配动作识别在 A 工位（摄像头偏左 30°）训练的模型，搬到 B 工位（摄像头正上方 60° 俯角）之后，准确率会下降 10% 以上。关键点是视角变化改变了关键点之间的相对位置关系，时空 Transformer 虽然能学一些视角不变特征，但完全不变是不可能的。

我的应对方案：

• 收集数据时尽量采集多角度视频，至少 3 个不同角度。
• 把关键点坐标归一化到以髋部中心为原点的相对坐标系后，再做一次面向视角的随机旋转增强，模拟视角变化（随机绕 x 轴和 y 轴旋转 ±20°）。
• 但注意不能旋转太过，否则姿态本身会变形。

6.3 多人遮挡与自遮挡问题

装配工人偶尔会弯腰拿物件，手部被躯干遮挡，MediaPipe 给出的手腕位置误差就很大，甚至直接把人体的左右手搞混。我在处理自遮挡时采用了两个小技巧：

• 利用前后帧的目标关键点位置做线性插值填充遮挡帧。如果遮挡时间小于 0.5 秒（比如 10 帧），插值的效果可以接受。
• 在 Transformer 中加入关键点置信度调制：每个关键点在 token 输入时乘上它的 visibility 分数（作为门控），这样低置信度的关键点特征会自动被抑制，模型不会因为“假手腕”而误判。

6.4 动作识别结果如何与业务告警联动

我做的装配动作识别系统不只是输出类别，它还要在巡检场景里检测“漏工序”。比如规定工人必须先贴标签、再插线、最后拧紧，系统会按序列顺序判断是否有跳步。这个序列逻辑我放在业务层，用状态机来管理：

状态机状态顺序：STEP1 贴标签 -> STEP2 插线 -> STEP3 拧紧 -> DONE 当识别到 STEP2 时，如果上一个状态不是 STEP1，则报警“跳步”。

状态机的好处是可以把 AI 模型的不确定性嵌套进一个确定性的业务框架里，就算某次动作识别置信度有一点小波动，只要整体顺序没错，就不会误报。实际工位测试中，这个方案误报率低于 1%，远好于单帧动作阈值判断。

7. 我踩过的三个坑，提前帮你把它们填平

7.1 关键点坐标的归一化单位不一致

MediaPipe 的 x、y 是相对于图像宽高的，但是如果你用 OpenCV 的cv2.flip做数据增强，图像宽高方向变了，坐标也跟着翻转，这个容易理解。但容易忽略的是：如果用视频帧的原始坐标训练了一个模型，部署时给模型传入的是缩放裁剪过后的图像，那么坐标体系就变了。保持训练和推理时输入图像的分辨率和图像坐标系一致是很重要。我的做法是在数据提取时就统一缩放到 640×480，部署时也 resize 到 640×480，这样坐标始终一致。如果想用原始分辨率，必须手动记录原图像尺寸，然后把坐标除以该尺寸归一化再做标准化。

7.2 Transformer 输入维度对 batch 的依赖

PyTorch 的TransformerEncoder默认batch_first=False，batch 在第二维，容易把人搞懵。我上面的代码里全部用了batch_first=True，注意检查版本和参数。另一个坑是：如果一条流里关键点数量不是 33 个（比如人脸关键点也算进去，变成 33+468），需要提前做好 mask，否则维度对不上。

7.3 推理时 ONNX 导出的动态轴问题

把训练好的模型导出 ONNX 做部署时，动态时间维度T会成为一个麻烦。默认导出是固定seq_len=30，如果推理时想临时用不同帧数，就需要设置dynamic_axes。我建议直接固定 T 为 30，因为窗口设计本身固定了 30 帧，没必要动态。关键点数量 N 也可以固定为 33，只有 batch 维度可以动态。这样导出最稳，TensorRT 优化也更充分。

8. 最后，给同样想做这套方案的人一些实在话

动作识别不是“拿个预训练模型跑通 demo 就行”的活。姿态估计、序列建模、工程部署，每一环节都有很多细节，任何一个地方处理不当，最终效果就会打折。MediaPipe + 时空 Transformer 这套组合之所以让我愿意一直用下来，是因为它把复杂度分散到了合适的层：MediaPipe 处理视觉感知的脏活累活，时空 Transformer 专职做时间维度上的推理，两者各司其职，调试起来思路清晰。

如果让我重新做一遍，我会先把数据剧增和评估指标定义得比模型结构更重要。这个小项目里，第一次踩坑都在数据上下游，模型本身反而是最后才需要深究的东西。把训练集的动作边界标注准确、把验证集按人切分、做好关键点遮挡填充，再上手模型调参，能少走至少两周弯路。

另外提醒一点，如果要把这套方案用到手势识别上，只需要把 MediaPipe 的 Pose 模块换成 Hands 模块，关键点从 33 个变成 21 个（单只手），模型输入维度对应修改即可。手部动作速度更快，时间窗口建议调整到 15 帧，采样频率可以提高到 15fps，其他训练逻辑完全复用。

到目前为止，这套方案已经在我手里的三个项目落地：装配动作识别、康复训练动作计数、健身房动作指导。稳定性和可迁移性都比预期要好。如果你正准备入坑动作识别，建议就从 MediaPipe 的关键点输出加一个轻量 Transformer 开始，用我上面记录的方式把数据管线吃透，基本可以避开大多数新手才会踩的坑。