视频理解与生成技术：从时序分析到动态内容合成
视频作为一种包含丰富时空信息的多媒体格式，相比静态图像增加了时间维度的复杂性，为计算机视觉研究带来了新的挑战与机遇。视频理解与生成技术旨在使机器能够解析视频中的动态内容并创造逼真的时序视觉数据，成为智能监控、自动驾驶、内容创作和人机交互等领域的核心技术支撑。
1. 视频理解技术：从特征提取到时空建模
视频理解的目标是从视频序列中提取高级语义信息，理解其中发生的事件、动作及其相互关系。这一过程需要对空间外观信息和时间运动信息进行联合建模。
1.1 传统视频理解方法
在深度学习兴起前，视频理解主要依赖于手工设计的时空特征：
1.1.1 基于轨迹的方法
- 密集轨迹：在多个空间尺度上密集采样特征点，使用光流场跟踪轨迹
- 改进的密集轨迹：考虑相机运动补偿，提高特征稳定性
- 轨迹描述符：沿轨迹提取HOF、MBH等运动描述符
1.1.2 基于局部特征的方法
- 3D-SIFT：将SIFT扩展到三维时空体积
- Cuboids特征：检测时空兴趣点，提取局部时空块特征
- MoSIFT：结合静态外观特征和运动特征
1.1.3 特征编码与分类
- 词袋模型：将局部特征量化为视觉单词
- Fisher向量：对特征分布进行更细致的建模
- SVM分类器：对编码后的特征进行分类
传统方法在特定数据集（如UCF101、HMDB51）上能达到60-70%的准确率，但特征设计复杂，泛化能力有限，难以应对复杂多变的真实场景。
1.2 基于深度学习的视频理解
1.2.1 双流网络架构
双流网络是最早将深度学习成功应用于视频理解的方法之一：
- 空间流：处理单个RGB帧，学习场景和物体的外观特征
- 时间流：处理密集光流场，学习帧间的运动模式
- 晚期融合：在预测层融合两个流的输出
- 改进方向：
- 更深的网络架构（ResNet代替VGG）
- 时间流的多帧输入（堆叠多个光流帧）
- 光流估计的改进（TV-L1光流、FlowNet）
双流网络在UCF101数据集上达到94%的准确率，但需要预计算和存储大量光流数据，推理速度较慢。
1.2.2 3D卷积神经网络
3D CNN直接在时空维度上进行卷积操作，统一建模外观和运动信息：
C3D网络：使用3×3×3的小卷积核，在Sports-1M数据集上预训练
- 优点：结构简单，端到端训练
- 局限：参数量大，需要大量训练数据
I3D：将ImageNet预训练的2D卷积核膨胀为3D
- 核心思想：利用2D预训练权重初始化3D网络
- 两种变体：RGB-I3D和Flow-I3D（光流输入）
- 性能：在Kinetics数据集上达到98%的准确率
P3D/Pseudo-3D：将3D卷积分解为空间2D卷积和时间1D卷积
