一、本文介绍
🔥本文给大家介绍使用 CGSA（Cross-Domain Gated Self-Attention）跨模态门控注意力融合模块 改进 YOLOv8 多模态目标检测 模型，可以通过自注意力机制和门控融合动态增强可见光与红外图像之间的特征交互，显著提升小目标检测能力。CGSA 通过频域信息和时域差异的结合，增强了目标细节，特别是在复杂背景和低光照条件下，提高了检测精度。该模块在增强跨模态特征的同时，减少冗余信息，确保了模型在复杂场景下的鲁棒性，并且具有较低的计算开销，适合实时目标检测任务。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家YOLO多模态创新改进！🔥
🔥YOLO多模态改进专栏目录：《YOLO多模态全网独家创新》多模态融合改进教程，包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进，答疑群提供完整项目，永久更新中
🔥YOLO多模态创新订阅地址：YOLO多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊，永久更新中
本文目录
一、本文介绍
二、CGSA跨模态门控注意力融合模块介绍
2.1 CGSA跨模态门控注意力融合模块结构图
2.2 CGSA跨模态门控注意力融合模块的作用
2.3 CGSA跨模态门控注意力融合模块的原理
2.4 CGSA跨模态门控注意力融合模块的优势
三、完整核心代码
四、手把手教你配置模块和修改tasks.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
3.修改tasks.py文件
五、创建涨点yaml配置文件
🚀 中期融合创新改进🔥: yolov8-midfusion-CGSAFusion.yaml
🚀 中后期融合创新改进🔥: yolov8-mid-to-late-CGSAFusion.yaml
🚀 后期融合创新改进🔥: yolov8-latefusion-CGSAFusion.yaml
六、正常运行
二、CGSA跨模态门控注意力融合模块介绍
摘要：多模态融合检测已被证实是提升遥感小目标感知能力的实用方法。现有研究主要聚焦于多模态空间域特征的融合，而对跨域差异特征（DFs）的关注仍显不足。此外，针对无人机等边缘设备部署的轻量级融合机制探索仍相对有限。为解决这些问题，我们提出了一种超轻量级跨模态跨域差异特征融合网络（C2DFF-Net）。该网络包含三个创新即插即用模块：首先，我们设计了跨模态差异特征交互模块（CDFIM），通过增强可见光与红外模态间的差异特征来促进跨模态信息交互；其次，为提升多模态互补特征的自适应融合能力，我们提出跨域门控自注意力（CGSA）模块，该模块从频域视角探索图像全局上下文信息，并引入极化自注意力（PSA）机制，在滤除冗余信息的同时建立空间-频域差异特征的长程依赖关系；最后，我们设计了自适应光照感知掩码（ALM）模块，使网络能够无偏地学习有效的多模态互补特征，从而提升其在复杂光照环境（如曝光与眩光）下的鲁
