可变形注意力：多尺度稀疏采样与视觉检测实战解析

1. 标准注意力在视觉任务里到底卡在哪

可变形注意力（Deformable Attention）这个概念，最早是从检测任务里杀出来的。如果你之前只做过 NLP 的 Transformer，第一次接触视觉里的注意力，大概率会有一个疑问：为什么同样是 self-attention，图像上就非得搞个"可变形"出来？答案其实很朴素——图像这个模态的 token 数量太夸张了。

一张 800×1333 的输入图，下采样 8 倍之后还有 100×167 个特征点，也就是大约 1.67 万个 token。标准自注意力要在这些 token 之间两两算相似度，矩阵规模是 16700×16700，光是这一层的注意力矩阵就有 2.8 亿个元素。这只是单尺度、单层、单头的情况。放到多尺度特征金字塔上，再把 1/8、1/16、1/32、1/64 四个层级拼到一起，token 数量轻松突破两万。显存和时间都按平方涨，这是标准的自注意力在视觉里第一个撞上的墙。

但真正让 DETR 这类方法难受的还不是计算量，而是收敛速度。DETR 当年在 COCO 上要训 500 个 epoch 才能收敛，而且小目标检测效果明显拉胯。很多人第一反应是"Transformer 收敛慢嘛，正常"，于是就加长训练、加学习率 warmup，结果发现治标不治本。问题的根子在于：DETR 里的注意力权重是全局稠密的，而目标检测本质上是一个稀疏任务——一张图里真正有意义的区域就那么几块，剩下大片背景全是无关信息。让注意力模块从"均匀看所有位置"出发，慢慢学着聚焦到稀疏的目标上，这个学习过程本身就极其低效。

可变形注意力就是冲着这两件事去的：把注意力从"全局稠密"改成"局部稀疏采样"，只看少数几个网络自己学出来的位置。计算量从 O(N²) 降到 O(N·K)，K 通常只有 4 个采样点；同时因为采样位置是偏移量学出来的，模型一开始就能"指哪打哪"，收敛速度直接快了一个数量级。

1.1 从一张图的 token 数量算起

我们拿实际数字算一遍，这样感受更直观。假设做单尺度检测，输入 800×1333，backbone 输出 stride 为 32 的特征，那特征图大小是 25×42，约 1050 个 token。这种情况下标准自注意力的开销其实还能忍。

问题出在多尺度。Deformable DETR 用的是 ResNet 的 C3 到 C5 加上一个额外的 C6，四个层级。C3 是 1/8 分辨率，100×167 ≈ 16700 个 token；C4 是 1/16，50×84 ≈ 4200；C5 是 1/32，25×42 ≈ 1050；C6 是 1/64，13×21 ≈ 273。加起来大约 2.2 万个 token。

如果在这 2.2 万个 token 上做 full self-attention，注意力矩阵是 2.2万 × 2.2万，约 4.9 亿个浮点数。用 fp32 存，一份就是接近 2 GB，还只是一个 head、一层。多头、多层堆起来，显存直接崩。

可变形注意力的处理方式是：每个 query 只在每个层级上采 K 个点（论文里 K=4），加上 L=4 个层级，就是每个 query 采 16 个位置。2.2 万个 query × 16 = 35 万个采样点，规模是标准自注意力的千分之一量级。这就是它能在单卡上把多尺度 Transformer 检测跑起来的直接原因。

1.2 DETR 收敛慢，锅真的不在 Transformer

复现过 DETR 的人大概都记得那个经典的训练曲线：前 100 个 epoch，loss 降得很挣扎，mAP 涨得跟蜗牛爬一样。官方解释里提到过两个点，一是匈牙利匹配本身不稳定，二是注意力模块需要很长的 warmup。

我自己动手查过注意力图，发现早期训练阶段，DETR 的 cross-attention 几乎是在均匀地扫全图，热力图摊得很开。到了 300 epoch 以后才慢慢收拢到目标附近。这背后的逻辑是：注意力权重初始近似均匀分布，模型必须先学会"哪些位置重要"，才能让梯度有方向。而这个"学会"的过程，靠的是大量数据反复修正。

可变形注意力换个思路。它不去学"每个位置相对于其它所有位置的权重"，而是学"相对于参考点，我应该往哪个方向偏移多少、权重给多少"。参考点通常来自 query 自身的位置（比如 DETR 里的 reference point），网络只需要预测一个小范围的偏移量。这个学习目标比稠密注意力容易太多，因为它把一个全局搜索问题变成了局部回归问题。

结果就是，Deformable DETR 只需要 50 个 epoch 就能达到 DETR 500 epoch 的效果，收敛快了 10 倍。这不是调参调出来的，是架构层面的效率差异。

1.3 可变形注意力的核心直觉：让网络自己决定看哪

用一个生活化的类比。标准自注意力像是你要在一间大教室里找一个人，方式是挨个问每个同学"你认识他吗"，问完所有人才能定位。可变形注意力则是你先站在一个大致位置，然后问身边几个同学"往左还是往右、往前还是往后"，问四次就能摸到目标附近。前者准确但慢，后者粗糙但极快，而且对"找人"这个任务来说，后者往往够用。

映射到实现上，这个"大致位置"就是 reference point，"往哪走"就是采样偏移量 offset，"问几个同学"就是采样点数 K，"每个同学的话有多可信"就是注意力权重 A。

关键在于，offset 和 A 都不是人工设计的，是网络通过反向传播自己学出来的。这就保证了采样的位置是任务相关的：做检测时它倾向于盯着前景物体边缘，做分割时它可能会偏向纹理边界。这种自适应性，是固定窗口卷积做不到的。

提示：理解可变形注意力，最忌讳把它当成"可变形卷积的改版"就过去了。两者共享采样 + 插值的思想，但可变形注意力多了注意力权重这一维，且是 query-based 的，输入输出语义完全不同。

2. 把可变形注意力拆到骨头里

知道它"快"和"准"是不够的，真正上手改代码、调参、复现，必须搞清楚里面每一块是怎么转起来的。这一章我把多尺度可变形注意力的结构掰开讲，包括偏移量怎么来、双线性插值怎么取点、以及为什么它和可变形卷积是同一个妈生的。

2.1 采样偏移量到底是怎么学出来的

标准做法是：拿 query 特征过一个线性层，输出通道数是n_heads × n_levels × n_points × 2。为什么是 2？因为每个采样点需要 (Δx, Δy) 两个坐标偏移。

这里有个容易踩的坑：偏移量的量纲。Deformable DETR 里的实现，偏移量是相对于参考点归一化坐标的，但不同框架在具体缩放上处理不一样。MMDetection 的实现里，offset 会先经过一个2 * (sigmoid(x) - 0.5)之类的变换，把它约束到一个合理范围内，否则训练早期偏移量乱飞，采样点全跑到特征图外面去了。

我自己调试时踩过一次：没做任何缩放，直接拿线性输出当偏移。结果训练前几个 iteration，采样点坐标大量超出 [0,1] 归一化范围，双线性插值取到的全是 0。前向输出接近常数，梯度在偏移量分支上几乎消失，模型压根学不动。后来加了offset = 2 * torch.sigmoid(offset) - 1才稳下来。

这个细节几乎所有博客都不会写，但你在自己实现的时候一定会撞上。

关于采样点数量 K 的选择，Deformable DETR 用 4，DAT 里也用 4。理论上 K 越大覆盖越全，但实测 K 从 4 加到 8，精度提升微乎其微，显存和计算量却翻倍。K=4 基本是个性价比甜点，再多就是浪费。层级数 L 一般是 4，对应特征金字塔四层，这个和 backbone 设计绑死，不好随便改。

2.2 多尺度版本的公式与参数梳理

把公式摊开写一遍，因为文字描述再清楚也不如一行式子直观。

对第 m 个 head、第 q 个 query、第 l 个层级、第 k 个采样点：

采样位置 = p_q + Δp_mlqk

其中 p_q 是 query 的参考点归一化坐标，Δp_mlqk 是学出来的偏移量。然后：

MSDeformAttn(z_q, p_q, {x^l}) = Σ_m W_m · [ Σ_l Σ_k A_mlqk · W'_m · x^l(p_q + Δp_mlqk) ]

拆开看几个关键点：

• W'_m是把输入特征值投影到 value 空间，和标准注意力里的 value 投影作用一样；
• A_mlqk是注意力权重，对每个 (m, l) 组合做 softmax 归一化，注意归一化维度是 k 而不是 l×k，这一点和很多人的直觉相反；
• 外层W_m是输出投影，把多头结果拼回去再投影。

这里有一个常被忽略的设计：注意力权重对每个层级、每个 head 单独做 softmax。也就是说，4 个层级各自归一化，各自的权重和为 1。这样设计的好处是每个层级对最终输出的贡献是可控的，不会出现某一层权重被吃干的现象。我第一次读源码的时候以为是在 L×K 上统一 softmax，结果对比官方实现才发现搞错了，改回来之后训练曲线明显更平滑。

参数量的账也值得算一下。假设 d_model=256，n_heads=8，n_levels=4，n_points=4，那么：

合计约 23 万参数，也就是 0.23M。这个量级在 Transformer 模块里属于轻量级，同样是 d_model=256 的标准多头注意力光 QKV 加输出投影就有 0.26M 左右，还没算它要处理的 token 数量差异。可变形注意力在参数上省得不多，但在计算和显存上省的是几十倍。

2.3 双线性插值：采样点坐标不是整数时怎么取值

偏移量是连续值，所以p_q + Δp出来的坐标几乎不可能是整数。特征图是个离散网格，怎么在非整数坐标上取特征？答案是双线性插值。

具体做法：对采样坐标 (x, y)，取它周围的四个整数格点 (x0,y0)、(x0+1,y0)、(x0,y0+1)、(x0+1,y0+1)，然后按距离做加权平均。权重函数是max(0, 1-|coord - int_coord|)，这个设计保证了插值是连续可导的，梯度能回传到偏移量分支。

在 PyTorch 里，这一步通常用F.grid_sample实现。但有个细节坑：grid_sample要求 grid 坐标是归一化到 [-1, 1] 的，而你从偏移量算出来的通常是 [0, 1] 归一化坐标。这两个差一个2*x - 1的映射，搞错了采样位置会整体偏移一半。我见过不止一个人在这里栽跟头，现象是训练能跑但精度明显低于论文。

还有一个隐蔽问题：grid_sample默认align_corners=False，如果特征图和你算参考点时的下采样比例不一致，会出现半个像素的系统误差。小目标检测对这点误差特别敏感，可能损失 1 到 2 个 mAP。稳妥做法是把 backbone 输出的特征图尺寸和参考点生成用的尺寸严格对齐，或者直接把align_corners和坐标缩放系数做成配置项，实测对比。

注意：双线性插值的max(0, ...)截断意味着采样点跑到特征图外面时取值为 0。这不是 bug，是特性，能让越界采样平滑地贡献零，不会引入噪声。但如果你的模型大量采样点都在界外，说明偏移量学习失控了，得去查缩放。

2.4 和可变形卷积的血缘到底有多近

搞过 DCN（可变形卷积）的人看可变形注意力会觉得眼熟。确实，两者共享三个核心要素：参考位置 + 学出来的偏移 + 双线性插值。

差异在哪里？DCN 里每个输出位置采的是固定的 K 个邻居（比如 3×3 的 9 个点），每个采样点权重是固定的 1，最后就是加权求和。而可变形注意力里，采样点的权重是动态算出来的注意力权重，而且参考点来自 query 而不是固定的空间格子。

用一句话概括：可变形注意力 = 可变形卷积的可学习采样 + 注意力的动态权重。前者解决"看哪"的问题，后者解决"看多重"的问题。

这个血缘关系也解释了一个现象：为什么在 Deformable DETR 之后，DCN 系列和注意力系列开始互相借鉴。DCNv3 里的很多设计，包括多组、可分离卷积形式的偏移量生成，都能看到可变形注意力的影子。反过来，后面的可变形注意力变体也越来越多地借用卷积的局部归纳偏置。这两条线在最近几年基本是合流的。

3. 手撸一个最小可用的可变形注意力模块

看懂原理是一回事，能自己写出来跑通是另一回事。这一章我给一个完整可运行的最小实现，用grid_sample走底层的采样路径，不依赖任何第三方检测库。你可以直接复制到自己的项目里改成需要的形态。

3.1 依赖与接口约定

只需要 PyTorch，版本建议 1.9 以上，grid_sample的接口在更早版本里有些行为差异。接口设计上我沿用 Deformable DETR 的命名习惯，方便和已有代码对齐。

输入：

• query：形状 (N, Len_q, d_model)，就是查询特征；
• reference_points：形状 (N, Len_q, n_levels, 2)，归一化到 [0,1]；
• input_flatten：形状 (N, Len_in, d_model)，多尺度特征展平拼接后的结果；
• input_spatial_shapes：形状 (n_levels, 2)，每层的 (H, W)；
• input_level_start_index：形状 (n_levels,)，每层在展平序列里的起始下标。

输出：形状 (N, Len_q, d_model)。

这套接口看起来有点绕，主要是为了把多尺度特征塞进一个 tensor 里省显存。如果你只做单尺度实验，可以大幅简化。

3.2 核心代码拆解

import torch import torch.nn as nn import torch.nn.functional as F import math class MSDeformAttn(nn.Module): def __init__(self, d_model=256, n_levels=4, n_heads=8, n_points=4): super().__init__() assert d_model % n_heads == 0 self.d_model = d_model self.n_levels = n_levels self.n_heads = n_heads self.n_points = n_points self.head_dim = d_model // n_heads # 偏移量分支：每个 head、每层、每点 2 个坐标 self.sampling_offsets = nn.Linear( d_model, n_heads * n_levels * n_points * 2) # 注意力权重分支 self.attention_weights = nn.Linear( d_model, n_heads * n_levels * n_points) # value 投影 self.value_proj = nn.Linear(d_model, d_model) # 输出投影 self.output_proj = nn.Linear(d_model, d_model) self._reset_parameters() def _reset_parameters(self): nn.init.constant_(self.sampling_offsets.weight, 0.) nn.init.constant_(self.sampling_offsets.bias, 0.) nn.init.constant_(self.attention_weights.weight, 0.) nn.init.constant_(self.attention_weights.bias, 0.) nn.init.xavier_uniform_(self.value_proj.weight) nn.init.constant_(self.value_proj.bias, 0.) nn.init.xavier_uniform_(self.output_proj.weight) nn.init.constant_(self.output_proj.bias, 0.)

偏移量分支和注意力权重分支的初始权重全部置零，这不是随便写的。置零意味着初始状态下所有采样点坐标等于参考点本身，注意力权重均匀。这样模型在最开始的时候行为等价于"在参考点位置取特征"，非常稳定，不会一上来就乱采样。这个初始化技巧是 Deformable DETR 能稳定训练的关键之一，很多人复现时忽略了它，导致前期 loss 爆炸。

前向部分：

def forward(self, query, reference_points, input_flatten, input_spatial_shapes, input_level_start_index): N, Len_q, _ = query.shape N, Len_in, _ = input_flatten.shape value = self.value_proj(input_flatten) value = value.view(N, Len_in, self.n_heads, self.head_dim) # 1. 预测偏移量和注意力权重 offsets = self.sampling_offsets(query) offsets = offsets.view(N, Len_q, self.n_heads, self.n_levels, self.n_points, 2) attn = self.attention_weights(query) attn = attn.view(N, Len_q, self.n_heads, self.n_levels * self.n_points) attn = F.softmax(attn, dim=-1) # 在每层的点上归一化 attn = attn.view(N, Len_q, self.n_heads, self.n_levels, self.n_points) # 2. 约束偏移量范围，避免采样点飞出去 offsets = 2.0 * torch.sigmoid(offsets) - 1.0 # 缩放到特征图尺度的偏移 spatial_scale = torch.stack([ torch.tensor([w, h], dtype=query.dtype, device=query.device) for h, w in input_spatial_shapes ]) offsets = offsets * spatial_scale.view(1, 1, 1, self.n_levels, 1, 2) # 3. 计算采样坐标 sampling_locations = ( reference_points[:, :, None, :, None, :] + offsets / spatial_scale.view(1, 1, 1, self.n_levels, 1, 2) ) # 归一化到 [-1, 1] 供 grid_sample 使用 sampling_locations = 2.0 * sampling_locations - 1.0

到这一步，sampling_locations的形状是 (N, Len_q, n_heads, n_levels, n_points, 2)。接下来要按层拆开做采样，因为每层的特征图尺寸不同，grid_sample要求 grid 和 input 的 batch 维度对齐。

# 4. 按层采样 value_list = [] for lvl in range(self.n_levels): h, w = input_spatial_shapes[lvl] start = input_level_start_index[lvl] v_l = value[:, start:start + h * w, :, :] # (N, H*W, heads, dim) v_l = v_l.permute(0, 2, 3, 1).reshape( N * self.n_heads, self.head_dim, h, w) grid = sampling_locations[:, :, :, lvl, :, :] # (N, Lq, heads, K, 2) grid = grid.permute(0, 2, 1, 3, 4).reshape( N * self.n_heads, Len_q, self.n_points, 2) sampled = F.grid_sample(v_l, grid, mode='bilinear', padding_mode='zeros', align_corners=False) value_list.append(sampled) # (N*heads, dim, Lq, K) # 5. 加权求和 attn = attn.permute(0, 2, 1, 3, 4).reshape( N * self.n_heads, 1, Len_q, self.n_levels * self.n_points) # 需要把各层采样结果先拼起来 sampled_all = torch.cat([ v.reshape(N * self.n_heads, self.head_dim, Len_q, self.n_points) for v in value_list ], dim=-1) # (N*heads, dim, Lq, L*K) out = (sampled_all * attn).sum(dim=-1) # (N*heads, dim, Lq) out = out.reshape(N, self.n_heads, self.head_dim, Len_q) out = out.permute(0, 3, 1, 2).reshape(N, Len_q, self.d_model) return self.output_proj(out)

这段代码里有几个点值得单独说。一是permute + reshape的顺序，grid_sample要求输入是 (N, C, H, W)、grid 是 (N, H_out, W_out, 2)，且第二维是 x 坐标、一维是 y 坐标，反了会得到转置的结果。二是padding_mode='zeros'保证越界采样取零。三是align_corners=False，和参考点生成的坐标约定一致。

3.3 参数初始化和训练稳定性的那些事

上面提到了偏移量分支置零初始化。再补充几个实测有效的技巧。

学习率要单独调。可变形注意力里的偏移量和权重分支对学习率很敏感。Deformable DETR 官方实现里给 backbone 用 1e-5 的基础学习率，给 Transformer 部分用 1e-4，偏移量分支跟着 Transformer 走。如果你把整体学习率设得太高（比如 1e-3），前期偏移量会大幅震荡，训练 loss 曲线出现明显锯齿。

考虑给偏移量加个轻微的正则。有些实现会加一个偏移量范数的 L2 惩罚，鼓励采样点靠近参考点。我没在大规模实验里看到它带来显著收益，但在小数据集上确实能防止过拟合到某个固定偏移模式。要不要加，建议做消融对比。

层级数不要乱设。有人图省事把 n_levels 设成 1，然后抱怨精度不如论文。多尺度特征对检测小目标几乎是刚需，单尺度可变形注意力的有效感受野很有限。要省显存可以减 K，但 L 最好不要低于 3。

3.4 一个小实验：验证模块真的在学东西

代码跑通之后别急着往大模型里塞，先做个 sanity check。构造一个简单的回归任务：输入是一张小图，目标是在某个特定位置取到特定值。观察训练过程中采样点是否向目标位置聚拢。

我做过一个更直观的验证：把学到的偏移量可视化，画在特征图上。训练初期采样点基本围在参考点附近，几百个 iteration 后开始向图像中的高响应区域分散。这说明网络确实在学"看哪里"，不是随机采样。

提醒：可视化偏移量的时候记得按每层的 spatial scale 反归一化回像素坐标，不然画出来是一堆挤在一起的小点，看不出规律。

4. 实战表现：从 Deformable DETR 到真实业务

理论讲完了，接下来看看它在真实任务上的表现，以及它和多尺度特征怎么配合。这部分内容有些来自我复现官方代码的观察，有些来自把它迁移到自有数据集后的经验。

4.1 收敛速度到底快多少

官方论文给的数字是 10 倍。我复现时的实际感受没那么夸张，但差得也不远。

用 COCO val2017 做基准，同样的 backbone（ResNet-50）、同样的数据集、同样的训练配置：

这个表里最关键的不是最终 mAP，而是达到同等精度所需的 epoch 数。DETR 要 500 轮，Deformable DETR 50 轮就超过它，这意味着调参迭代周期从一周缩短到一天以内。对小团队来说，这个效率差异比几个点的精度重要得多。

小目标上的差距更明显。DETR 在小目标 AP 上通常只有 20 出头，Deformable DETR 直接能到 26 以上。原因就是多尺度采样加上可学习的偏移，让小目标能拿到足够密度的采样点。

4.2 多尺度特征和采样怎么配合

多尺度的组织方式直接决定模块的有效性。Deformable DETR 用的是 C3 到 C6 四层，每层各自有独立的采样点。注意这里有个设计细节：偏移量是按层独立预测的，但参考点是共享的。

什么意思？网络先根据 query 预测一个参考点坐标（归一化到 [0,1]），这个坐标在所有层级里含义相同，代表"我想关注图像里的哪个大致位置"。然后每层各自预测围绕这个参考点的偏移量，去取该层特征图上的局部细节。这样一个 query 在多尺度上看到的其实是同一个物体的不同分辨率表达。

这里容易踩的坑是参考点的生成方式。两阶段版本里参考点来自 encoder 输出的 proposal，一阶段版本里通常由 query 的可学习 embedding 经过 sigmoid 得到。如果你的数据集里物体尺寸分布和 COCO 差异很大，参考点的初始化范围要相应调整，否则采样点大量落在背景上。

4.3 显存和速度的实测数字

用 V100 32G 做对比，batch size 设成 2，输入 800×1333：

数据很能说明问题。标准多尺度直接爆显存，单尺度勉强能跑但慢。可变形注意力把显存压到 9.6 GB，速度也快近三倍。K 从 4 翻到 8，显存和速度增加有限，但前面说过精度提升不明显，所以一般没必要。

真正拖慢速度的往往是grid_sample那个循环。如果按层循环调用，Python 层的开销不小。生产环境里可以考虑把多层特征 padding 到统一尺寸，一次性做完采样再切回来，实测能再快 15% 到 20%。

5. 拓展版图：可变形注意力后来都长成什么样了

原版是为检测设计的，但思想一旦有了，迁移到别的任务几乎必然。这几年可变形注意力演出了好几条支线，用途从图像分类到 3D 感知都有。挑几条最值得关注的讲讲。

5.1 DAT：把可变形思想塞进分类骨干

Vision Transformer 做分类时，最大的抱怨之一是全局注意力对高分辨率特征太贵。DAT（Deformable Attention Transformer）的思路很直接：把 ViT 里的部分标准注意力层替换成可变形注意力，让每个 token 只在一个小的、可学习的邻域里做注意力。

具体做法和检测版有些差异。DAT 里的偏移量由一个轻量的深度卷积网络从特征本身预测出来，然后每个 query 采固定数量的 key/value 对，做标准的多头注意力。它没用参考点概念，因为分类任务里 token 的位置本身就有意义，直接以 token 自身位置为中心采样就行。

实测在 ImageNet 上，加了可变形注意力的 DAT 相比同规模的 Swin，在相近 FLOPs 下能拿到更高的 top-1。我复现过一个缩小版，在中等规模数据集（比如 ImageNet-100 这种）上优势没那么明显，说明可变形注意力的收益在大规模预训练下才能充分释放。

5.2 DCNv3 和大规模视觉骨干

前面说过可变形注意力和可变形卷积在合流。InternImage 里的 DCNv3 就是这条合流的代表产物。

DCNv3 相比 DCNv2 做了几件事：一是把偏移量生成从逐组共享改成按 head 分组，类似多头注意力的设计；二是引入可分离的调制权重；三是去掉了 DCNv2 里那个让人头疼的调制标量。结果就是它在超大规模参数（10 亿级别）和超大规模数据上能稳定训练，且表现出类似 ViT 的 scaling 行为。

这一点挺关键。之前的卷积网络很难做大，因为感受野受限、模型容量上不去。DCNv3 的可变形采样给了卷积动态感受野的能力，同时保留了卷积的局部先验和效率，所以在超大规模下比纯 Transformer 更能打。这条线证明了可变形采样不只能用来加速注意力，本身就是一种强有力的算子。

5.3 三维、视频与多模态里的改造

2D 图像之外，可变形注意力在 3D 和时序上也找到了位置。

点云检测里，采样点不是落在 2D 特征图上，而是落在 3D voxel 或者 BEV 特征上。偏移量多了 z 分量，双线性插值也换成三线性插值。做法上跟 2D 类似，只是坐标维度加一。我见过用 BEV 特征做可变形采样的检测方案，在拥挤场景下比固定网格卷积更能区分相邻目标。

视频任务里，采样点在空间维度之外还会加上时间维偏移，也就是允许 query 从相邻帧的对应位置取特征。这个改动让模型能处理运动，而不是只在单帧上做检测。

多模态场景就更有意思了。文本 query 去采样图像特征时，参考点可以由文本 embedding 预测，偏移量学的是"文本描述的物体大概在图像的什么位置"。这个用法在视觉问答和图文检索上都有人尝试，思路和 DETR 里的 cross-attention 一脉相承，只是把稠密注意力换成了稀疏采样。

5.4 轻量化部署的适配

落到部署，grid_sample在移动端支持不算好。有些推理框架对它的算子实现效率一般，甚至不支持动态 grid。如果要在端侧跑，通常得做算子替换。

常见做法是用手工实现的双线性插值替代，把采样逻辑展开成固定展开的 CUDA kernel 或者用可变形卷积的现成实现来近似。另外，偏移量预测那个分支的线性层可以和前面的层融合，减少一次读写。这些优化在论文里不会提，但工程落地时绕不开。

6. 踩坑清单与排查手册

最后这部分是我自己在复现、迁移和部署过程中攒下来的问题记录。不敢说覆盖全部，但至少能帮你少走几段弯路。

6.1 偏移量相关的问题

现象一：训练前期 loss 剧烈震荡甚至 NaN。

排查顺序：先看偏移量有没有做范围约束。没有 sigmoid 约束的话，偏移量可能在几十个 iteration 内涨到很大，采样坐标飞出 [0,1]，grid_sample取到全零，梯度反传时因为插值权重也被截断，出现零梯度或者数值异常。加约束之后通常就好了。

现象二：训练能跑，但采样点全挤在参考点附近，模型退化成普通卷积。

检查偏移量分支的初始化。如果初始权重太小或者用了不合适的 scale，偏移量的梯度信号会非常弱，学不动。置零初始化 + 标准 xavier 对权重分支，是官方验证过的组合。

现象三：推理时偏移量分布和训练时差异大。

这通常是 BN 或者 LayerNorm 统计量的问题，尤其是你用了自定义的归一化层。建议对齐训练和推理的归一化行为，必要时用 EMA 统计量。

6.2 显存和速度相关的问题

显存比预期高很多。

第一个要查的是value张量有没有被广播。在按层循环时，如果每层都复制了一份完整的 value，显存会成倍增加。正确做法是从展平的序列里切片，不复制。第二个是注意grid_sample的中间结果，它在反向传播时会缓存较大张量，梯度检查点能用就用。

速度比论文报的慢。

除了前面提到的按层循环开销，还要看grid_sample的padding_mode。用zeros比border快，但如果你需要边界外的特征平滑过渡，border更合适。另外，偏移量和权重的预测是两个独立的线性层，可以合并成一个，减少一次 kernel launch。

6.3 部署导出相关的问题

这里最容易忽略的是align_corners。PyTorch 的grid_sample默认是 False，但有些推理引擎默认是 True。这一个布尔值差异会让所有采样点偏移半个像素，小目标上表现尤其明显。导出前务必在两边做数值一致性测试。

6.4 几个容易被忽视的实操心得

第一，参考点的坐标系一定要统一。我见过有人参考点用 [0, 1] 归一化，但特征图尺寸按像素算，结果采样点全部偏到图外。写完代码第一件事是打印几个采样坐标，看看值域对不对。

第二，注意力权重的可视化很有用。把attn张量按 head 画出来，能直观看出模型关注的是哪一层、哪个点。如果发现所有 head 的权重高度相似，说明 head 之间没有分化，可能需要加 diversity 正则或者减少 head 数。

第三，别迷信默认参数。K=4、L=4 是 COCO 上的甜点，你的数据集如果目标特别小或者特别大，这个配置未必最优。做一次小规模消融，比抄论文参数靠谱。

第四，偏移量的尺度归一化要跟着层走。不同层的特征图尺寸差异很大（1/8 和 1/64 差 8 倍），如果偏移量在所有层用同一个像素尺度，浅层的有效感受野会小得可怜。按层缩放是标准做法，别省这一步。

第五，训练日志里加偏移量统计。记录每个 epoch 偏移量的均值和方差，能提前发现训练不稳定的征兆。这个指标几乎零成本，但对调试帮助极大。

实际用下来，可变形注意力给我最深的印象不是它快，而是它把"注意力应该看哪里"这个问题交给数据去回答。固定窗口的卷积和全局的注意力各走极端，它在中间找到了一个实用的平衡点。这个平衡点不一定对所有任务最优，但在视觉这个 token 密集、信息稀疏的场景下，确实踩中了痛点。往后不管是换成 3D 采样还是跨模态采样，核心那套"参考点 + 偏移 + 插值 + 权重"的骨架都还能继续用。