视频扩散模型中的稀疏注意力机制优化实践

1. 视频扩散模型中的稀疏注意力机制解析

在视频生成领域，基于Transformer架构的扩散模型正面临计算复杂度随序列长度平方增长的瓶颈。传统密集注意力机制在处理视频数据时，需要计算每对时空位置之间的交互关系，这导致长视频生成时的显存占用和计算开销急剧上升。针对这一挑战，稀疏注意力机制通过有选择性地关注关键区域，在保持生成质量的同时显著降低计算负担。

1.1 时空滑动窗口注意力原理

时空滑动窗口注意力(ST-SWA)的核心思想源于视频数据特有的局部性特征。通过分析标准视频扩散Transformer中的注意力模式，研究者发现两个显著特征：

1. 空间局部性：单个帧内的token主要关注其周围邻近区域
2. 时间局部性：相同空间位置的token在不同帧之间存在强相关性

传统3D视频潜变量(尺寸为[Hh, Wh, Fh])在展平为1D序列时，通常采用时间维度作为最慢变化索引。这种排列方式使得：

• 同一帧内的空间相邻token在序列中保持连续
• 不同帧中相同空间位置的token间隔Hh×Wh个位置

这种默认排序虽然有利于捕捉空间局部性，却破坏了时间维度的连续性。为解决这个问题，ST-SWA采用动态token重排策略：

1. 对于显示时间局部性的注意力头，将token按空间位置分组
2. 使时间上相邻的token在重排后的序列中连续
3. 应用适当窗口大小的滑动窗口注意力捕获局部时间依赖

关键实现细节：采用SVG的头置换内核和DiTFastAttnV2的滑动窗口注意力内核，窗口尺寸通过8个VBench视频提示作为分析数据集，采用贪心算法选择满足最大相对平方误差≤2.0的最小窗口。

1.2 Top-K块稀疏注意力机制

与固定模式的稀疏注意力不同，Top-K块稀疏注意力动态选择最相关的键值对进行计算，包含三个关键步骤：

1. 块划分与均值计算：将输入token划分为若干块，计算每块的均值向量
2. 相似度筛选：计算查询token与各键块均值的相似度，选择Top-K最相关块
3. 局部注意力计算：每个查询token仅与选中的键块进行注意力交互

实际应用中，LoRA调优使用k=8，SALAD调优使用k=4。这种动态选择机制相比固定模式能更好地保留重要信息，实验显示在保持90%以上生成质量的同时，可将注意力计算量降低60-70%。

2. SALAD调优方法与实现细节

2.1 训练配置与资源消耗

SALAD(Sparse-Linear Adaptive Diffusion)采用混合稀疏-线性注意力架构，其训练设置如下：

使用Mixkit数据集子集(分辨率480×832，77帧)，仅需4块GPU即可完成训练。相比其他稀疏化方法，SALAD展现出显著效率优势：

• VSA：80,000视频，32×H100 GPU
• VMoBA：36M视频片段，104×H800 GPU
• SLA：20,000视频，批量64

2.2 共享权重架构设计

SALAD的核心创新在于共享权重的稀疏-线性混合注意力机制，如图15(b)所示。与传统非共享架构相比：

1. 查询/键/值投影矩阵在稀疏和线性分支间共享
2. 通过门控机制动态调节线性分支贡献度
3. 输出投影矩阵也保持共享

这种设计在几乎不增加参数量的情况下(165M vs 全注意力模型的189M)，实现了与独立参数架构相当的性能：

2.3 门控机制实现细节

输入相关的标量门控是SALAD的关键组件，其计算流程如图11所示：

1. 对输入隐状态进行token平均得到全局表征
2. 通过线性层+非线性函数(默认sigmoid)生成门值
3. 门值范围约束在[0,1]之间调节线性分支贡献

实验表明，sigmoid作为非线性函数效果最优：

门控值的动态范围通常在0.1-0.4之间(如图12)，这种适度的线性分支补充既能保持稀疏注意力的主体结构，又能引入必要的全局信息。

3. 训练后分支剪枝技术

3.1 门控值分布分析

通过对去噪过程中门控值的统计分析(图9)，发现：

1. 各层和各时间步的门控值分布高度一致
2. 20th/40th/60th/80th百分位数随时间平稳变化
3. 这种稳定性支持时间步无关的剪枝策略

基于此，可以采用平均百分位数作为统一阈值，避免逐时间步校准的开销。

3.2 渐进式分支剪枝实验

如图10所示，逐步剪除门控值较低的分支：

1. 剪枝20%分支时，视频IQ得分达到最优(0.689)
2. 继续增加剪枝比例会导致质量下降
3. 特别地，剪除门控值最高20%的分支反而提升SC指标

不同剪枝区间的效果对比(表8)：

这表明高门控值分支可能包含冗余信息，适当剪除可提升模型效率而不损害性能。

4. 实际应用中的关键发现

4.1 门控值设置的敏感性分析

固定门控值的实验(图13,14)揭示了重要现象：

1. gate=0(仅LoRA)：出现严重色彩失真(如狗毛变绿/红)
2. gate=0.7：改善锐度但产生语义错误(如狗的数量翻倍)
3. gate=1：语义正确但局部空间不一致(如狗头身比例失调)
4. gate=1.5：生成崩溃，输出模糊噪声帧

这表明：

• 纯稀疏注意力无法捕获全局交互
• 过度依赖线性注意力会破坏结构
• 动态门控是平衡两者的关键

4.2 计算效率与生成质量权衡

SALAD在保持生成质量的同时显著提升效率：

1. 相比全注意力模型，内存占用减少40%
2. 推理速度提升2.3倍(77帧视频)
3. 训练成本降低10倍以上

特别在长视频生成(>100帧)场景下，优势更加明显，使消费级GPU(如RTX 3090)也能处理高清视频生成任务。

在实际部署时，建议：

1. 对实时性要求高的应用，可采用k=4的Top-K稀疏化
2. 对质量敏感的场景，使用ST-SWA+20%分支剪枝
3. 门控初始值设为0.5，允许训练初期自由探索