M_DWC论文题目：Fast and Accurate Image Restoration and Generation with Rank Enhanced Linear Attention（基于秩增强线性注意力的快速精准图像恢复与生成）
会议：ECCV 2026
源码与模型
GitHub - shallowdream204/LAformer: [ECCV 2026] Fast and Accurate Image Restoration and Generation with Rank Enhanced Linear Attention · GitHub
摘要：基于 Transformer 的模型在图像恢复任务中取得了显著进展，但自注意力的二次计算复杂度限制了其在高分辨率图像中的应用。现有方法通过稀疏注意力或窗口注意力缓解这一问题，却在一定程度上限制了全局上下文建模。线性注意力在保持线性复杂度的同时具备全局建模潜力，但普通线性注意力在图像恢复中会明显掉点，主要原因是其注意力图的低秩特性。为解决这一问题，作者提出秩增强线性注意力 RELA，通过引入轻量级深度卷积丰富特征表达。在此基础上，作者设计了高效视觉 Transformer——LAformer，避免 Softmax 和窗口移位等硬件效率较低的操作。论文在 7 类图像恢复任务、21 个基准测试中验证了性能与计算优势，并将 LAformer 扩展到基于扩散模型和流模型的图像生成任务，展示了其作为 DiT、SiT 竞争性替代方案的潜力。
一、研究背景：线性注意力为什么“快却不够强”？
高分辨率图像恢复需要兼顾局部纹理和长距离依赖。CNN 感受野有限；Softmax 注意力需要构建 N × N 矩阵，计算量随 N² 增长；窗口、稀疏注意力又可能损失全局上下文。
论文 Figure 2：Softmax Attention 与 Linear Attention 的计算方式对比
线性注意力把 (QKᵀ)V 改写为 Q(KᵀV)，当通道数 C 固定时，复杂度可由 O(N²) 降至 O(N)。但其低秩结构限制了表达能力，导致图像恢复精度下降。
论文 Figure 1：去雨滴任务中的 PSNR、延迟、FLOPs 和参数量对比
Figure 1 体现 LAformer 兼顾 PSNR、延迟和计算量的目标；FLOPs 不是实际运行耗时。
二、核心创新：RELA 如何突破低秩限制？
2.1 低秩问题从哪里来？
设输入特征为 X ∈ R^(N×C)，Q、K、V 为其线性投影。线性注意力使用特征映射 ψ(·) 代替 Softmax 相似度，重新组织求和后，可写为：
关键问题在于，线性注意力的未归一化注意力矩阵 M = ψ(Q)ψ(K)ᵀ，因此按照矩阵乘积的秩约束：
高分辨率图像一般满足 N ≫ C，于是 N × N 注意力矩阵的秩最多为 C，表达模式受限。
论文 Figure 4：Softmax、普通线性注意力与 RELA 的注意力图秩对比
在作者给出的 N = 256、C = 48 示例中，普通线性注意力的注意力图秩为 42，而 RELA 恢复到 256。这只是特定实验结果，不意味着所有输入都满秩。
2.2 用轻量深度卷积补充一个局部分支
RELA 的做法很直接：保留线性注意力负责全局信息，再增加 Depthwise Convolution（DWC）负责局部信息和特征多样性。公式（4）为：
前一项负责全局聚合，提供局部卷积特征，ψ(·) 取 1 + ELU(·)。将 DWC 理解为稀疏交互矩阵，可写作 M_attn = ψ(Q)ψ(K)ᵀ + M_DWC。因为 M_DWC可能满秩，整体注意力就有机会突破原先的秩限制，且复杂度仍随 Token 数线性增长。
论文 Figure 5：不同注意力机制的输出特征图秩与特征多样性
Figure 5 中普通线性注意力输出秩为 24，RELA 为 48，说明其特征多样性得到改善，但不构成普遍满秩保证。
三、LAformer 整体架构：让全局与局部信息协同工作
论文 Figure 3：LAformer 整体架构及 DA、RELA、CAB、CG-FFN 模块
LAformer 采用 U-Net 式编码器—解码器。输入经 3 × 3 卷积映射为特征，编解码器堆叠 DA Block，通过跳跃连接与 Pixel-Unshuffle / Pixel-Shuffle 完成多尺度处理。DA Block 并非只放一个 RELA，而是结合三部分：
RELA：在空间维度以低复杂度获取全局依赖，并通过 DWC 增强特征秩。
CAB（Channel Attention Block）：利用通道注意力补充跨通道依赖，通过逐点卷积、深度卷积和 GELU 构建通道特征。
CG-FFN（Convolutional Gated Feed-Forward Network）：在前馈阶段结合深度卷积与门控机制，提高局部细节建模能力。
论文以残差结构组合这些模块：
RELA 捕获远距离依赖，CAB 建模通道关系，CG-FFN 补充纹理；网络避免 Softmax 和窗口移位。
四、实验结果：七类恢复任务与视觉生成
论文评估了 7 类恢复任务、21 个基准及生成实验。恢复指标以 PSNR、SSIM 为主，生成指标包含 FID、IS。以下使用原表截图。
4.1 运动/失焦去模糊与效率
论文 Table 1：RealBlur-R、RealBlur-J 真实运动去模糊结果
RealBlur-R 上 LAformer-B 达到 41.07 dB，比 GRL 的 40.20 dB 高 0.87 dB；RealBlur-J 达到 32.92 dB。两类真实数据均取得较强表现。
论文 Table 2：GoPro、HIDE 合成运动去模糊结果
LAformer-B 在 GoPro 达到 33.40 dB，在 HIDE 达到 31.49 dB，显示了跨数据集的恢复能力。
论文 Table 4：GoPro 上的参数量、FLOPs、运行时间与 PSNR
Restormer 为 0.79 s、32.96 dB，LAformer-B 为 0.73 s、33.40 dB。运行时间使用 GoPro 高分辨率输入，FLOPs 使用 256 × 256 输入。
论文 Table 5：DPDD 单图与双像素失焦去模糊结果
在 Combined 场景下，单图版本达到 26.28 dB，比对应 Restormer 高 0.30 dB；双像素版本达到 26.95 dB，高 0.29 dB。
论文 Figure 6：DPDD 与 GoPro 去模糊可视化
Figure 6 重点看文字边缘：LAformer 减少了模糊与伪影。
4.2 去雪、去雾、去雨滴与低照度增强
论文 Table 3：CSD、SRRS、Snow100K 去雪结果
LAformer-T 的 PSNR 分别为 37.42、32.24、34.24 dB，在三个数据集上均取得表中最优值。
论文 Table 6：SOTS-Indoor / SOTS-Outdoor 合成去雾结果
LAformer-T 分别达到 41.17 和 38.51 dB，高于表中对比方法，体现了 RELA 在大范围退化建模上的优势。
论文 Table 7：Outdoor-Haze / Dense-Haze 真实去雾结果
LAformer-T 的 PSNR 分别为 25.28 和 17.14 dB。Dense-Haze 比 AST 的 17.12 dB 仅高 0.02 dB，差距有限。
论文 Table 8：Raindrop Test-A / Test-B 去雨滴结果
LAformer-S 分别取得 33.38 和 27.27 dB，在 Test-A 上较 Histoformer 提升 0.32 dB。
论文 Table 9：LOL-v1、LOL-v2-real、LOL-v2-syn 低照度增强结果
LAformer-T 的 PSNR 分别为 27.28、27.92、30.28 dB，均为表中最高值。
论文 Figure 7：低照度增强与真实去雾的视觉对比
图中重点观察暗部噪声、局部对比度及雾中目标轮廓。
4.3 All-in-One 图像恢复：同一模型处理多种退化
论文 Table 10：五类退化的统一图像恢复结果
在同一个模型处理多类退化的设定下，LAformer-B 的去雨、增强、去雪、去雾、去模糊 PSNR 分别为 31.55、26.81、34.24、34.28、30.92 dB。相较 DiffUIR，在五类任务上均取得更高的 PSNR，说明该架构具有一定的跨退化适应能力，而不只服务于单一恢复任务。
4.4 从图像恢复拓展到扩散与流模型
论文 Table 11：ImageNet 256 × 256 类条件扩散生成（400K steps）
在约 682M 参数尺度下，LAformer 的 FID 为 11.31，DiT-XL/2 为 19.47；LAformer 的 FLOPs 为 89.91G，DiT-XL/2 为 118.66G。FID 越低越好，该结果支持线性注意力骨干用于生成任务的潜力。
论文 Table 12：ImageNet 256 × 256 类条件 Flow-based 生成（400K steps）
在最大尺度上，LAformer 的 FID 为 10.98，SiT-XL/2 为 17.19，FlowDCN-XL/2 为 11.30。论文展示的是匹配训练步数和规模条件下的结果，不应直接推断到所有生成模型和设置。
论文 Figure 8：LAformer 在 ImageNet 类条件生成上的样例
Figure 8 提供生成样例，需结合 Table 11、12 的定量指标判断。
五、消融分析：性能究竟来自哪里？
论文 Table 13：RELA 激活函数与 DWC 卷积核大小的消融
在 GoPro 上，将 1 + ELU 改为 ReLU，PSNR 从 33.40 降至 33.38 dB，说明增益并非强依赖某个激活函数。DWC 从 3 × 3 换成 5 × 5，PSNR 从 33.35 提高到 33.40 dB；7 × 7 仅提升至 33.41 dB，却继续增加计算，因此最终选择 5 × 5。
论文 Table 14：RELA、CAB、CG-FFN 各组件消融（SOTS-Indoor）
这一表最能验证模块分工。普通线性注意力为 39.28 dB，RELA 达到 41.17 dB，提升1.89 dB，而参数仅从 6.18M 增至 6.25M。去掉 CAB 后为 40.81 dB（下降 0.36 dB）；将 CG-FFN 改为 MLP 后为 40.20 dB；保留 CG-FFN 但去掉 DWC 后为 40.11 dB。这些结果证明秩增强、通道注意力与卷积门控均有贡献，但收益依赖任务设置。
六、总结与思考
本文先通过秩分析解释普通线性注意力在恢复任务中掉点的原因，再用轻量 DWC 改善特征多样性；LAformer 把 RELA、CAB 和 CG-FFN 结合到多尺度 U-Net 中。
实验覆盖恢复和生成，但 DWC 仅有可能提高整体矩阵秩上界，并非保证满秩；目标检测、分类、语义/实例分割等任务未做直接验证，不能称为“所有 CV 任务通用”。
一句话总结：RELA 用局部深度卷积补足线性注意力的低秩表达缺陷，再通过 LAformer 将这一机制扩展为兼顾精度、效率和多任务适应性的视觉骨干。
