前言
本文介绍了 EfficientViT 中的级联分组注意力机制——Cascaded Group Attention（CGA），用于降低传统多头自注意力中的计算冗余并提升特征表达能力。该方法通过将输入特征按通道分组分配给不同注意力头，并采用级联方式传递前一头输出，使各头学习更具差异性的注意力表示，同时结合局部窗口注意力减少全局计算开销。我们将 CGA 融入 YOLOv8 的 C2f 模块，构建 C2f_CascadedGroupAttention 并应用于主干网络，在增强上下文建模与通道交互能力的同时，提升模型对多尺度目标的检测效果。
文章目录： YOLOv8改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总
专栏链接: YOLOv8改进专栏
文章目录
- 前言
- 介绍
- 摘要
- 文章链接
- 基本原理
- 核心代码
- 引入代码
- 注册
- 步骤1:
- 步骤2
- 配置yolov8_C2f_CascadedGroupAttention.yaml
- 实验
- 脚本
- 结果
介绍
摘要
视觉Transformer由于其强大的模型能力，已经展示了巨大的成功。然而，其显著的性能伴随着高计算成本，这使得它们不适合实时应用。在本文中，我们提出了一系列高速视觉Transformer，命名为EfficientViT。我们发现现有Transformer模型的速度通常受限于内存效率低的操作，尤其是MHSA中的张量重塑和元素级函数。因此，我们设计了一个新的构建块，采用三明治布局，即在高效的FFN层之间使用单个内存绑定的MHSA，以提高内存效率同时增强通道通信。此外，我们发现注意力图在不同头部之间具有高度相似性，导致计算冗余。为了解决这一问题，我们提出了一个级联分组注意力模块，为不同的注意力头提供完整特征的不同拆分，这不仅节省了计算成本，还提高了注意力的多样性。全面的实验表明，EfficientViT在速度和准确性之间取得了良好的平衡，优于现有的高效模型。例如，我们的EfficientViT-M5在准确性上超过了MobileNetV3-Large 1.9%，同时在Nvidia V100 GPU和Intel Xeon CPU上的吞吐量分别提高了40.4%和45.2%。与最近的高效模型MobileViT-XXS相比，EfficientViT-M2的准确性高出1.8%，在GPU/CPU上的运行速度分别快5.8倍/3.7倍，并且在转换为ONNX格式时速度快7.4倍。代码和模型可以在这里
