news 2026/3/19 20:51:35

即插即用系列(代码实践)| AAAI 2025 TBSN:基于Transformer的盲点网络——自监督去噪新SOTA,彻底解决注意力机制信息泄露难题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
即插即用系列(代码实践)| AAAI 2025 TBSN:基于Transformer的盲点网络——自监督去噪新SOTA,彻底解决注意力机制信息泄露难题

论文题目:Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising

中文题目:重新思考用于自监督图像去噪的基于Transformer的盲点网络
论文出处:arXiv 2025 (最新自监督去噪研究)
应用任务:自监督图像去噪 (Self-Supervised Image Denoising, SSID)、盲点网络 (BSN)
核心模块:Dilated G-CSA (扩张分组通道注意力), Dilated M-WSA (扩张掩码窗口注意力)

摘要
本文提取自2025年最新论文《Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising》。针对自监督去噪任务中,主流的盲点网络(Blind-Spot Network, BSN)长期被 CNN 统治,而强大的 Transformer 因Attention 机制容易泄露中心像素(Blind-Spot)信息而无法应用的痛点,复现了其核心组件——TBSN(Transformer-based BSN)。该模块通过重新设计通道注意力和空间注意力,在保留 Transformer 强大建模能力的同时,严格遵守盲点约束,是无参考图像去噪领域的重大突破。


目录

    • 第一部分:模块原理与实战分析
      • 1. 论文背景与解决的痛点
      • 2. 核心模块原理揭秘
      • 3. 架构图解
      • 4. 适用场景与魔改建议
    • 第二部分:核心完整代码
    • 第三部分:结果验证与总结

第一部分:模块原理与实战分析

1. 论文背景与解决的痛点

在没有干净参考图(Ground Truth)的情况下进行图像去噪(即自监督去噪),通常采用盲点网络(BSN)。它的核心逻辑是:利用周围的像素预测中心像素,因为噪声通常是独立的,而图像信号是相关的。

然而,现有的 BSN 几乎全是用 CNN(特别是扩张卷积)做的,因为卷积很容易设计成“不看中心点”。Transformer 虽然在图像复原(如 Restormer)中效果拔群,但想用在 BSN 里却有两个致命缺陷:

  1. 通道注意力的泄露:在多尺度架构中,下采样操作会将空间信息混入通道维度,导致计算通道注意力时“偷看”到了中心像素。
  2. 空间注意力的泄露:标准的 Self-Attention 计算全局或窗口相关性时,Query 会不可避免地和自身的 Key/Value 交互,直接破坏了盲点假设。

痛点总结:我们需要一种既有 Transformer 的长距离建模能力,又能像扩张卷积一样严格屏蔽中心像素的注意力机制。

2. 核心模块原理揭秘

为了解决“既要 Transformer 强,又要 BSN 盲”的矛盾,TBSN 提出了两个核心魔改模块。我已将其封装为即插即用的 PyTorch 类:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/15 18:23:00

阿里领导给的Java八股文,包括15条技术线,已助1900人进入大厂

为了更高的薪水跳槽无可厚非,但你要把握好一个度。举个例子,如果你每次都只是为了能增长3%的年薪,而频繁地换工作。当HR看到你的简历时,你会被认为是一个对公司没有忠心、对自己的事业没有远见的人如何准备?除了平时的…

作者头像 李华
网站建设 2026/3/18 5:13:15

系统思考:小行动大影响

本期的学习实验室《小行动大影响》,我们把注意力从“我要多做什么”,转向了一个更关键的问题:哪一个一小步,值得我现在就去做? 我们带着三个有力量的洞见开展团队学习:1、小行动之所以大,不在于…

作者头像 李华
网站建设 2026/3/16 2:42:42

计算机大数据毕设实战-基于django的城市房产价值的数据分析与预测系统的设计与实现基于Python+Mysql+django的房屋信息可视化及【完整源码+LW+部署说明+演示视频,全bao一条龙等】

java毕业设计-基于springboot的(源码LW部署文档全bao远程调试代码讲解等) 博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、…

作者头像 李华
网站建设 2026/3/16 2:42:45

大数据计算机毕设之(基于django大数据在直播带货商品选品中的应用完整前后端代码+说明文档+LW,调试定制等)

java毕业设计-基于springboot的(源码LW部署文档全bao远程调试代码讲解等) 博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、…

作者头像 李华
网站建设 2026/3/16 0:58:38

Jetson 磁盘加密学习笔记:从 LUKS/dm-crypt 到 APP/APP_ENC 与量产流程

📺 B站视频讲解(Bilibili):博主个人介绍 📘 《Yocto项目实战教程》京东购买链接:Yocto项目实战教程 Jetson 磁盘加密学习笔记:从 LUKS/dm-crypt 到 APP/APP_ENC 与量产流程 目标:基于 NVIDIA Jetson Linux R36.4.3 官方文档,把 Jetson 的 Disk Encryption(磁盘加密…

作者头像 李华