STTR核心技术揭秘：CNN特征提取器与Transformer注意力机制的完美融合

STTR核心技术揭秘：CNN特征提取器与Transformer注意力机制的完美融合

【免费下载链接】stereo-transformerRevisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers. (ICCV 2021 Oral)项目地址: https://gitcode.com/gh_mirrors/st/stereo-transformer

STTR（STereo TRansformer）是一种创新的立体深度估计算法，它从序列到序列的角度重新审视立体深度估计问题。该网络将传统的CNN特征提取器与长距离关系捕捉模块Transformer相结合，为立体匹配任务带来了突破性的性能提升。

立体深度估计的革命性突破

传统立体匹配算法在处理无纹理区域和遮挡边界时常常遇到挑战，而STTR通过独特的架构设计有效解决了这些问题。它能够在三个方面放松先前立体深度估计网络的限制：

• 无需预先定义视差范围
• 不依赖手工设计的代价聚合方法
• 能够建模长距离像素关系

从双目图像到深度图：STTR的工作流程

STTR的核心流程包括四个关键步骤：特征提取、自注意力机制、交叉注意力机制和视差回归。让我们通过一组实际示例来理解这个过程：

首先，网络接收一对立体图像作为输入：

左目图像：STTR立体深度估计的输入之一

右目图像：与左目图像配对的立体输入

经过处理后，STTR输出精确的视差图，用于表示场景中每个像素的深度信息：

视差图：STTR立体深度估计算法的输出结果

CNN特征提取器：捕捉局部视觉特征

STTR的特征提取器基于空间金字塔池化（SPP）架构，采用改进的PSMNet设计。该模块负责从输入图像中提取丰富的局部特征，为后续的Transformer处理奠定基础。

SppBackbone架构解析

特征提取器的核心实现位于module/feat_extractor_backbone.py文件中，采用了SppBackbone类。该架构包含以下关键组件：

1. 初始卷积层：使用3个卷积层将输入图像降采样至1/2分辨率
2. 残差块：两个残差块序列将特征图进一步降采样至1/4和1/8分辨率
3. 空间金字塔池化：四个不同尺度的平均池化分支，捕获多尺度上下文信息

# 空间金字塔池化分支示例（来自SppBackbone类） self.branch1 = nn.Sequential(nn.AvgPool2d((16, 16), stride=(16, 16)), nn.Conv2d(128, 32, kernel_size=1, bias=False), nn.BatchNorm2d(32), nn.ReLU(inplace=True))

这种结构使网络能够在不同尺度上提取特征，增强了对不同大小物体的表示能力。

特征学习的隐含分类能力

一个有趣的发现是，Transformer之前的特征提取器实际上在没有任何显式监督的情况下学习将像素分为两类——有纹理和无纹理。这种隐含的学习分类有助于STTR的泛化能力，提高了在复杂场景中的深度估计精度。

STTR特征嵌入可视化：展示了网络如何区分有纹理（蓝色）和无纹理（红色）区域

Transformer注意力机制：建模长距离像素关系

STTR的Transformer模块是其核心创新点，负责建模左右图像内部和之间的长距离像素关系。这一模块在module/transformer.py中实现，包含自注意力和交叉注意力两种关键机制。

自注意力层：捕获单目图像内关系

自注意力层(TransformerSelfAttnLayer)旨在捕捉单张图像内部的像素关系，帮助网络理解图像中的局部结构和上下文信息。这一步骤使网络能够识别图像中的对象和特征，为后续的立体匹配做准备。

交叉注意力层：建立双目图像对应关系

交叉注意力层(TransformerCrossAttnLayer)是立体匹配的关键，它负责建立左目和右目图像之间的像素对应关系。通过这种机制，网络能够在左右图像中找到匹配的特征点，从而计算视差。

交替注意力机制

STTR采用交替应用自注意力和交叉注意力的策略，逐步优化特征表示和立体匹配结果。这种设计使网络能够同时利用单目图像的上下文信息和双目图像的视差线索。

# 交替注意力机制实现（来自Transformer类） for idx, (self_attn, cross_attn) in enumerate(zip(self.self_attn_layers, self.cross_attn_layers)): # 自注意力计算 feat = checkpoint(create_custom_self_attn(self_attn), feat, pos_enc, pos_indexes) # 交叉注意力计算 feat, attn_weight = checkpoint(create_custom_cross_attn(cross_attn), feat[:, :hn], feat[:, hn:], pos_enc, pos_indexes)

如何开始使用STTR

要开始使用STTR进行立体深度估计，首先需要克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/st/stereo-transformer

项目提供了多个脚本帮助用户快速上手，包括：

• scripts/pretrain.sh：预训练模型脚本
• scripts/kitti_finetune.sh：在KITTI数据集上微调模型
• scripts/inference_example.ipynb：推理示例Jupyter笔记本

总结：CNN与Transformer的完美融合

STTR通过将CNN的局部特征提取能力与Transformer的长距离关系建模能力相结合，为立体深度估计任务带来了新的解决方案。这种融合不仅突破了传统方法的限制，还展现了深度学习模型在计算机视觉任务中的强大潜力。

无论是自动驾驶、机器人导航还是3D重建，STTR都为这些应用提供了更精确、更鲁棒的深度估计能力。随着研究的深入，我们期待看到这一架构在更多视觉任务中发挥重要作用。

【免费下载链接】stereo-transformerRevisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers. (ICCV 2021 Oral)项目地址: https://gitcode.com/gh_mirrors/st/stereo-transformer