Fast R-CNN目标检测：RoI Pooling与多任务损失实战解析

最近把几年前做工业质检时写的一套检测代码翻出来重跑，主干的思路还是 Fast R-CNN 那一套：共享卷积特征图加 RoI Pooling，最后挂两个头分别做分类和边框回归。很多人学目标检测是从 YOLO 系列入门的，一上来就是 anchor、网格、多尺度预测，反而把 Fast R-CNN 跳过去了。可只要你想真正理解“候选框”和“回归”这两个概念是怎么被塞进同一个网络里端到端训练的，Fast R-CNN 是绕不开的一站。它没有推倒重来，而是把 R-CNN 那套“每个候选框都过一遍卷积”的做法彻底改掉，让候选框共享同一张特征图，训练一次、前向一次，剩下的交给 RoI Pooling 和一个多任务损失。这篇文章我打算按实际推演的思路走，从它为什么出现、网络每一层在算什么、损失怎么捏合、参数怎么定，一直讲到我自己踩过的坑和现场调参记录，尽量让你看完能自己搭一个能跑通的版本，而不是只记住几个名词。

1. 先搞清楚 Fast R-CNN 到底解决了什么麻烦

1.1 R-CNN 的三处硬伤，每一处都在烧钱

要理解 Fast R-CNN，得先知道它前面那哥们儿有多笨重。R-CNN 的流程很直白：用 Selective Search 在每张图上生成大约 2000 个候选区域，然后把每个候选区域单独裁剪出来，缩放成固定尺寸，逐个送进卷积网络提取特征，再用 SVM 做分类，最后用一组线性回归器修正边框。流程听起来没毛病，问题全在“逐个”这两个字上。一张图要跑 2000 次卷积网络前向，而这 2000 个框里有大量重叠区域，同一块像素被反复计算了几十遍，算力几乎全浪费在重复劳动上。

第二个问题是训练被切成了好几段。卷积特征提取、SVM 分类器、边框回归器是三套独立训练的东西，中间还夹着一个“把特征缓存到磁盘”的步骤。VGG16 版本下，2000 个框的特征向量存下来动辄几百 GB，IO 直接成为瓶颈，训练一轮的时间被磁盘读写拖得很难受。第三个问题是精度上的妥协：因为卷积特征是离线缓存的，SVM 和回归器在训练时无法反向影响卷积层，整个网络没法端到端微调。你想调卷积核的参数，得把前面的流程全部重跑一遍，迭代成本高到不现实。

把这三条摆在一起看：测试慢、训练碎、不能端到端。这就是 Fast R-CNN 要一次性解决的目标，而且它的解法不是小修小补，而是把“每个框单独过网络”这条根给拔掉。

1.2 SPP-Net 给的那把钥匙

在 Fast R-CNN 之前，SPP-Net 已经证明了一件事：卷积特征图不必对每个候选框重算。它的做法是把整张图送进卷积网络，得到一张共享的特征图，然后对每个候选框在特征图上找到对应的区域，用空间金字塔池化把它压成固定长度的向量。这解决了“重复计算”这一半问题，测试速度提升非常明显。

但 SPP-Net 留了尾巴。它的池化层是空间金字塔结构，多尺度池化的设计在反向传播上比较别扭，导致它没能把卷积层也一起微调起来——实际上 SPP-Net 只微调了全连接层，卷积部分依旧是冻结的。结果就是精度没有比 R-CNN 提升太多，训练流程也依然是多阶段的。Fast R-CNN 的聪明之处在于，它把金字塔池化简化成一个固定尺度的 RoI Pooling 层，输出的尺寸写死成 7×7，反向传播路径清晰，于是整个网络第一次真正做到了从前到后一起训练。

这里有个取舍值得说清楚：简化成单一尺度是会损失一点多尺度信息的，但论文里的实验显示，在深度网络上，多尺度金字塔带来的增益远小于端到端微调带来的增益。换句话说，与其保留一个更难训练的多尺度结构，不如换成简单结构把反向传播打通。这个判断在当时是反直觉的，但工程上极其正确。

1.3 Fast R-CNN 的取舍：留着候选框，改掉整条流水线

Fast R-CNN 的输入是“一张完整图片 + 一组候选框”，输出是每个候选框的类别和精修后的坐标。它保留了 Selective Search 这类外部候选框生成算法，把重活全放在后面的网络里。很多人会问，为什么不干脆把候选框生成也做进网络里？答案很实在：那一步的工程改动量和当时的算力条件都撑不住，更务实的做法是先把网络内部打通，把端到端的收益拿到手。这个遗留问题后来被 Faster R-CNN 用 RPN 解决，但 Fast R-CNN 的价值就在这一步——它把“候选框”从一个外部流程变成了网络内部可以消费的数据格式。

我个人觉得 Fast R-CNN 最值得学的不是某个模块，而是它的拆分逻辑：把整个检测任务拆成“特征提取、区域特征对齐、多任务输出”三段，段与段之间用可微的操作连接。这个结构后来被几乎所有两阶段检测器沿用，包括你现在看到的 Mask R-CNN、Cascade R-CNN，骨架都还在这个框架上。

2. 网络结构逐层拆解与一张图的完整旅程

2.1 从原图到共享特征图：卷积只跑一遍

假设输入是一张 600×800 的图，经过 VGG16 的卷积部分，得到一张大约 38×50、通道数 512 的特征图。注意这里的关键参数是下采样倍数（stride），VGG16 的卷积部分一共做了四次池化，每次步长 2，所以整体下采样 16 倍，600/16≈37.5，实际取整后是 38 左右。这个 16 倍的关系后面要用到很多次，因为候选框是定义在原图坐标系上的，要投影到特征图上必须除以这个倍数。

这一层是整条链路里唯一一次对整张图做卷积运算，也是速度提升的根本来源。R-CNN 要对 2000 个框各跑一遍，这里只跑一遍，理论上的计算量差距就在这个倍数上。当然实际加速比不会完全等于 2000，因为候选框大小不一，整图卷积的输入分辨率也更高，但量级上的差别已经足够明显。

注意：不同主干的 stride 不一样。VGG16 是 16，ResNet-50 在 conv4 阶段也是 16，但如果你用的是更浅的网或者做过修改的网，一定要把这个数字算准。它直接决定了 RoI Pooling 的 spatial_scale 参数，填错了框会整体偏移，而且是按比例偏移，很难一眼看出来。

2.2 RoI Pooling 到底做了什么

RoI Pooling 是整个模型里最需要动手算一遍的模块。它的任务是把特征图上任意大小的一块区域，压成固定尺寸比如 7×7 的输出。过程分两步：先把候选框从原图坐标映射到特征图坐标，方法是四个坐标全部除以 stride；然后把映射后的区域均匀划分成 7×7 个格子，每个格子内做最大池化。

举个具体的数字。假设某个候选框在原图上是 (x1=100, y1=180, x2=340, y2=500)，stride 是 16，映射到特征图上变成 (6.25, 11.25, 21.25, 31.25)，实际计算时会对齐到整数边界，一般取整得到 (6, 11, 21, 31)。那么这个区域在特征图上的高度是 20，宽度是 10。划分成 7×7 的格子后，每个格子高度方向约 20/7≈2.86，宽度方向约 10/7≈1.43，因为不能划分出小数像素，实际会用 ceil 取整，比如高度方向每格取 3。取整之后会出现格子之间重叠或者区域略微超出边界的情况，这就是所谓的量化误差。

这个量化误差在目标比较大的时候影响有限，但对于小目标就很要命：几像素的偏移在高分辨率原图上可能对应几十个像素，框的位置就对不准了。后来 Mask R-CNN 提出的 RoI Align 用双线性插值取代取整操作，本质上就是在修这个问题。你在实现 Fast R-CNN 的时候，如果数据集里小目标多，值得直接换成 RoI Align 试试，接口是兼容的。

输出的 7×7×512 张量被展平成 25088 维向量，接两个 4096 维的全连接层。注意展平这个操作意味着 RoI Pooling 的输出尺寸必须固定，这也是为什么池化尺寸要写死——它后面跟着的是全连接层，而全连接层对输入维度是敏感的。

2.3 两条输出分支：分类头与回归头

穿过两个 4096 维全连接层之后，网络分成两支。分类分支输出 K+1 维向量，K 是真实类别数，多出来的那一维是背景类，经过 softmax 得到每个类别的概率。回归分支输出 4×(K+1) 维，理论上每个类别都有自己的边框修正参数，但实际训练时只有正样本对应的真实类别那一组参数会参与计算，背景类那一组直接被忽略。

为什么要给每个类别单独准备一套回归参数？因为不同的类别在形状和尺度上的分布差异可能很大，人脸的框修正逻辑和汽车的框修正逻辑并不通用。用共享的回归头也能跑，但精度会掉一些，尤其是在类别形态差异大的数据集上。代价是参数量变成 K+1 倍，如果你的类别数上百，这一层的参数会占据相当可观的显存。

这里还有个容易搞混的点：R-CNN 时代用的是 SVM 做分类，Fast R-CNN 换成了 softmax。论文里的实验数据显示，softmax 的精度不但没掉，反而略好于 SVM，同时还省掉了单独训练 SVM 的麻烦。所以你现在看所有现代检测器，分类头基本都是 softmax 或者 sigmoid 交叉熵，没人再用 SVM 了。

2.4 完整数据流的形状变化表

把上面几段拼起来，一张图的完整数据流可以整理成下面这样。这张表我在自己复现代码的时候贴在显示器边上，每加一层就对照一下形状，能省掉大量调试时间。

这张表里的 2000 是候选框数量，实际训练时不会把 2000 个框全部送进去算损失，会做采样，这部分放到第 3 章讲。推理阶段倒是可以把所有候选框都过一遍，反正只做前向。

3. 损失函数与训练策略：多任务是怎么捏到一起的

3.1 分类损失与定位损失的加权组合

Fast R-CNN 的损失函数是整篇论文里最精妙的设计，它把两个原本独立的训练目标合成了一个。形式很简洁：总损失等于分类损失加上定位损失，其中定位损失前面带一个指示函数，只有当这个候选框属于正样本（也就是和某个真实框的 IoU 超过阈值）时才计入。

用公式表达就是对每个 RoI，分类部分用交叉熵，定位部分用平滑 L1，两者相加。关键在于那个指示函数，它保证了背景框只贡献分类损失，不会污染回归头的训练。如果不加这个约束，让背景框也去回归一个目标位置，网络会学到一堆毫无意义的坐标输出，训练直接崩掉。

权重系数我一般设成 1，也就是两个损失等权。论文里也是 1。如果你在某个自定义数据集上发现定位精度明显偏低、分类精度过剩，可以试着把定位损失的权重提到 1.5 或 2，反之亦然。这算是个经验性的调参点，没有理论最优解，只能靠验证集试。

3.2 Smooth L1：为什么不用 L2

定位损失用的是 Smooth L1，而不是大家更熟悉的 L2 或者 L1。原因得从两者的缺点说起。L2 损失对误差是平方关系，误差大的时候梯度也大，遇到离群样本容易把训练带飞，而且在检测任务里，预测框和真实框差得远是常态，前期几乎全是离群点。L1 损失倒是线性增长、梯度稳定，但它在零点不可导，且梯度恒定为常数，误差很小的时候收敛速度慢，精度上容易在最优解附近来回晃。

Smooth L1 把两者拼了起来：误差绝对值小于 1 的时候用平方，保证小误差区间的平滑和快速收敛；大于 1 的时候用线性，抑制离群点带来的梯度爆炸。切换点那个 1 就是它的超参数，一般不用改。实现上就是两个分支按条件选择，代码就几行，我在第 4 章会给出来。

这个设计思路其实值得迁移到别的回归任务上。只要你做的是回归，而且数据里存在明显的离群标注，Smooth L1 或者它的近亲 Huber Loss 都是比 MSE 更稳的选择。

3.3 边框回归的参数化与反解

回归头直接预测四个绝对坐标很难收敛，因为坐标值的分布随图像尺寸变化太大。Fast R-CNN 的做法是预测相对偏移：相对于候选框的位置偏移和尺度缩放比，都取对数。

具体是四个量：中心点 x 方向的偏移量等于真实框中心减候选框中心再除以候选框宽度，y 方向同理；宽度的缩放比是真实框宽除以候选框宽再取对数，高度同理。取对数是为了让缩放关系对称——框放大两倍和缩小两倍，在对数空间里是正负对称的，网络学起来更均衡。

推理的时候反过来解：预测的中心点等于候选框中心加上预测偏移乘以候选框宽，预测的宽等于候选框宽乘以偏移量的指数。这一步反解很容易写错，尤其是坐标和宽高的对应关系，我在第一次实现的时候把宽和高写反了，结果框全部横竖颠倒，画出来一眼就能看出来。建议写完立刻拿两三组数据手工验算一遍，比对输入输出，比盲目跑训练快得多。

3.4 样本采样、超参数与微调范围

训练时不会真的把 2000 个候选框全部拿来算损失，而是每张图抽 64 个。抽取规则是：和任意真实框 IoU 大于等于 0.5 的算正样本，随机抽 25%，也就是 16 个；剩下的 75% 从 IoU 落在 0.1 到 0.5 之间的框里抽取。注意下限是 0.1 而不是 R-CNN 用的 0.3，这么设是为了保证负样本足够多，同时保留一些“难例”负样本。IoU 低于 0.1 的框基本和真实目标没交集，对训练没有信息量，通常直接排除。

论文里的 batch 是两张图，合起来每个 batch 处理 128 个 RoI。这个 batch size 小得可怜，因为 VGG16 显存占用高。这也带来一个问题：批量归一化在小 batch 下统计量不稳，所以原论文用的 VGG16 根本没加 BN 层。你自己复现时如果换了带 BN 的主干，要么冻结 BN 的统计量，要么把 batch 调大，否则训练会明显不稳。

学习率策略上，初始 0.001，跑完 3 万次迭代后降到 0.0001，再跑 1 万次。动量 0.9，权重衰减 0.0005。数据增强只做了水平翻转。微调范围是 VGG16 从 conv3_1 开始的后半部分，前面的层冻结。冻结前面的层是因为浅层学的是边缘、纹理这类通用特征，数据量不够的时候强行微调反而会破坏预训练权重带来的收益。

注意：正负样本比例 1:3 是个经验值，不是铁律。如果你的数据集里目标特别密集，正样本本来就多，可以适当提高正样本比例；如果是那种一张图只有一两个小目标的场景，1:3 可能都不够，得往下压负样本比例，否则网络容易退化成“全预测背景”。

3.5 用 SVD 砍掉全连接层的计算量

Fast R-CNN 在推理速度上的一个附加优化是截断 SVD。全连接层 fc6 的参数量是 25088×4096，接近一个亿，在推理时这一层耗时占比很高。做法是对这一层的权重矩阵做奇异值分解，保留前 1024 个奇异值，把一层大矩阵乘法拆成两层小矩阵乘法，参数量降到原来的一个零头，实测几乎不掉精度，速度有可观提升。

这个技巧放到今天其实依然有用。如果你在部署边缘设备，模型尾部的大全连接层往往是可以压缩的重点区域。不过要注意，如果你后面改成了全卷积结构，这个优化点就不存在了，所以它算是一个跟特定结构绑定的优化。

4. 动手跑一遍：从数据准备到推理可视化

4.1 数据准备与格式对齐

数据这块最容易出问题的不是算法，是格式。我用的是 VOC 格式的标注，每张图对应一个 xml，里面记录若干目标框的类别和坐标。实际喂给模型前要转成两个东西：一个是图片路径列表，一个是每张图对应的 N×5 张量，五列分别是类别索引和四个坐标。坐标顺序我统一用左上右下，也就是 x1, y1, x2, y2，别混用中心点格式，混了之后报错会很难查。

这里有个细节值得强调：图像的预处理要和预训练权重匹配。VGG16 在 ImageNet 上训练时用了均值减除和特定的归一化参数，如果你在微调时换了一套归一化，浅层特征分布对不上，收敛会慢很多。我的做法是直接把 torchvision 里对应权重的预处理参数抄过来，写成一个 transforms 流水线，避免手写错。

数据集划分上，我习惯留 10% 做验证集，并且保证验证集里的类别分布和训练集接近。小数据集上尤其要注意这点，否则验证 mAP 抖动会非常大，你根本判断不了模型是在进步还是在随机波动。

4.2 骨架搭建与 RoI Pooling 实现

骨架部分我直接用 torchvision 的 VGG16，取它的 features 部分作为卷积主干，把后面的 avgpool 和 classifier 丢掉。然后自己接 RoI Pooling、全连接和两个头。代码结构大致如下。

import torch import torch.nn as nn import torchvision from torchvision.ops import roi_pool class FastRCNN(nn.Module): def __init__(self, num_classes=21, pooled_size=7, spatial_scale=1/16): super().__init__() backbone = torchvision.models.vgg16( weights=torchvision.models.VGG16_Weights.IMAGENET1K_V1 ) self.features = backbone.features self.pooled_size = pooled_size self.spatial_scale = spatial_scale self.fc6 = nn.Linear(512 * pooled_size * pooled_size, 4096) self.fc7 = nn.Linear(4096, 4096) self.cls_score = nn.Linear(4096, num_classes) self.bbox_pred = nn.Linear(4096, num_classes * 4) self.dropout = nn.Dropout(0.5) self.relu = nn.ReLU(inplace=True) def forward(self, images, rois): # images: (N, 3, H, W) rois: (K, 5) 第一列是 batch 索引 feat = self.features(images) pooled = roi_pool(feat, rois, output_size=(self.pooled_size, self.pooled_size), spatial_scale=self.spatial_scale) x = pooled.flatten(1) x = self.relu(self.fc6(x)) x = self.dropout(x) x = self.relu(self.fc7(x)) x = self.dropout(x) cls_logits = self.cls_score(x) bbox_deltas = self.bbox_pred(x) return cls_logits, bbox_deltas

有几处值得展开说。roi_pool 的输入要求是 (N, C, H, W) 的特征图和 (K, 5) 的框，第一列必须是 batch 索引，很多人第一次用的时候忘了这一列，直接丢四列坐标进去，形状校验会直接报错。spatial_scale 就是 stride 的倒数，这里 VGG16 是 1/16。

另外注意 roi_pool 这个接口在新版 torchvision 里被标记为推荐改用 roi_align，但依然可用。如果你追求更好的小目标表现，直接把函数名换成 roi_align，参数里去掉 spatial_scale 换成 sampling_ratio，其余不用动。

4.3 训练循环与关键参数记录

训练循环里最绕的是样本采样和损失计算。我拆成两步：先算每个候选框和真实框的 IoU，然后按 0.5 和 0.1 两个阈值分类正负，正样本按 25% 比例采样。采样时如果正样本不够，要用负样本补齐，保证每个 batch 的样本数固定，否则不同 batch 的损失尺度不一致。

def smooth_l1_loss(pred, target, beta=1.0): diff = (pred - target).abs() return torch.where(diff < beta, 0.5 * diff ** 2 / beta, diff - 0.5 * beta)

上面这个实现里 beta 取 1，和论文一致。注意它返回的是逐元素损失，最后要做一个归约，归约的对象一般是有正样本的维度数，不是全部元素，这一点论文里特别强调过，用错误的归约方式会导致损失数值量级不对，学习率就得跟着重调。

训练记录方面，我建议同时盯三个量：总损失、正样本数量、平均 IoU 最大的候选框分数。第一个判断训练是否在推进，第二个判断采样是否正常，第三个判断分类头有没有在学到东西。我碰到过一次正样本数量长期为零的诡异情况，原因是我把标注框的坐标写成了中心点格式，IoU 算出来全是错的，表面上损失还在缓慢下降，实际上网络只是在学背景。

超参数我沿用了论文的配置，学习率 0.001 起步，3 万次迭代后降到 0.0001，再 1 万次收尾，动量 0.9，权重衰减 0.0005。数据增强只做水平翻转。在 VOC07 这种规模的数据集上，单卡跑完一轮大概几个小时。

4.4 推理后处理：NMS 与阈值调优

推理阶段输出的是每个候选框在每个类别上的得分和偏移量。后处理分三步走。第一步按类别分别取分，只保留得分超过阈值的框，背景类直接丢掉。第二步用预测的偏移量把候选框还原成检测框，同时裁剪到图像边界内，防止框超出画面。第三步做非极大值抑制，把同一个目标上的重复框合并掉。

NMS 的阈值我用 0.3，和论文一致。这个值偏保守，意味着只要有 30% 重叠就认为是同一个目标，会合并掉。如果你的场景里有大量密集重叠的小目标，这个阈值得往上调，比如 0.5 甚至 0.6，否则挨得近的目标会被误合并成一个。反过来如果是稀疏场景，0.3 能有效压掉重复框。

得分阈值我在不同数据集上试过 0.05 到 0.5 的范围，差异挺大。小目标多的时候阈值要压低，因为小目标的分类得分普遍偏低，阈值一高就全被滤掉；大目标为主的时候可以提到 0.3 以上，能省掉大量无效框，后处理速度也会快一些。这个参数没有通用最优值，只能拿验证集画 PR 曲线来选。

4.5 实测数据与速度对比

我在 VOC07 上跑的结果，用 VGG16 主干，单尺度 600 像素，mAP 大概落在 66 到 67 这个区间，和论文报的 66.9 基本吻合。如果换成 VOC07+12 的联合训练集，能到 70 左右。同条件下换成 CaffeNet 这种轻量主干，mAP 会掉到 58 上下，但速度会快好几倍，适合对精度要求不那么苛刻的场景。

速度方面，完整流程里最耗时的其实是候选框生成那一步，因为 Selective Search 是纯 CPU 算法，和 GPU 上的网络推理没法并行。网络本身的前向在 GPU 上只要零点几秒，但加上候选框生成，单张图的整体耗时会被拉长不少。这也是为什么后面 Faster R-CNN 要把候选框生成也做成 GPU 上的网络——那一步才是真正的瓶颈。

5. 踩坑记录：常见故障与排查思路

5.1 训练侧：loss 不动、震荡、假收敛

损失完全不下降，我遇到过三种原因。第一种是学习率太大，前期直接发散，损失先是暴涨然后变成 nan，解决方案是把初始学习率降到 0.0001 试一轮，看损失是否下降。第二种是标签格式不对，比如类别索引从 1 开始而背景类占了 0，导致所有样本的标签整体错位，表现就是损失能降但降到一个很高的平台期就不动了。第三种是数据预处理和预训练权重不匹配，浅层特征分布偏移，表现为损失缓慢下降但验证集精度上不去。

损失震荡的情况多半出在采样上。如果某个 batch 恰好正样本特别多，损失会突然抬高；下一个 batch 全是负样本，损失又掉下去。解决办法是在采样时做强约束，保证每个 batch 的正样本数量恒定，采样不到就用负样本补。我改完之后损失曲线明显平滑了很多。

还有一种比较隐蔽的“假收敛”：损失在下降，但验证集 mAP 一动不动。这通常是模型学会了走捷径，比如所有框都预测成同一类。查的办法是统计预测结果的类别分布，如果某个类别的占比超过 80%，基本可以确认。原因往往是类别不均衡，少数类样本太少，需要加类别权重或者做过采样。

5.2 检测侧：漏检、重复框、框偏移

漏检最常见的原因不是模型不行，是后处理阈值设太高。尤其是小目标，得分普遍在 0.1 到 0.3 之间，你把阈值卡在 0.5，等于把这些目标全部筛掉了。排查方法是把阈值降到 0.02，画一下所有框，看看有没有被漏掉的目标其实模型已经检出来了，只是分数低。

重复框的问题有两个来源。一是 NMS 阈值太高，相邻的两个真实目标被当成同一类，或者同一个目标的两个框重叠度不够被保留下来，这时候要调低 NMS 阈值。二是回归头输出的偏移量异常，导致同一个目标被修正出两个距离很远的框，这种情况要看回归损失的收敛情况，如果回归损失一直很高，说明回归头没学好。

框整体偏移是比较典型的坐标映射问题。如果所有框都往一个方向平移了固定的距离，八成是 stride 算错了，或者映射时忘记减掉特征图的偏移量。如果框的大小系统性偏小，可能是回归反解时把宽高的指数运算写错了。我建议写一个可视化脚本，把候选框、修正后的框、真实框用不同颜色画在一张图上，一眼就能看出是哪个环节的问题，比看指标快得多。

5.3 工程侧：显存、速度与部署

显存不够是最常见的工程问题。Fast R-CNN 的显存大头在全连接层的激活值上，每个 RoI 经过两个 4096 维全连接层，激活值非常占空间。减小显存的办法有几个：减少每张图的采样 RoI 数量，比如从 64 降到 32；用截断 SVD 压缩全连接层；或者直接把主干的浅层冻结，减少反向传播时的激活保存量。我用第二个办法把显存占用压下来大约三成。

速度优化上，除了 SVD 之外，还可以把 RoI Pooling 的输出尺寸从 7×7 降到 6×6 或者 5×5，全连接层的输入维度会平方级下降，速度快很多，代价是精度会掉一点点。另外把图像短边从 600 降到 480，速度提升也很明显，但小目标的检测精度损失比较大，得权衡。

部署时要注意的一点是候选框生成这一步。如果整个流程都在服务端，问题不大；如果要做端侧部署，Selective Search 这种 CPU 密集算法会很拖后腿，通常的做法是用一个轻量的候选框生成网络替代它，或者干脆换成单阶段检测器的思路。

5.4 常见问题速查表

这张表基本覆盖了我这两年调这类模型时遇到的大部分情况，留着当速查用还是比较省事的。

6. 这套框架的边界在哪里

6.1 两个没有解决的问题

Fast R-CNN 留下的第一个坑是候选框生成依然是外部的、CPU 上的、不可学习的。这导致两个后果：一是推理时延被这一步卡住，二是候选框的质量直接决定检测上限，网络再强也救不回漏掉的候选框。第二个坑是 RoI Pooling 的量化误差，对小目标和需要像素级对齐的任务不友好，这个问题直到 RoI Align 出现才算彻底解决。

这两个问题不是实现瑕疵，而是架构层面的边界。你如果要做的是高精度、小目标密集的检测任务，光靠 Fast R-CNN 的原始结构是不够的，得在候选框生成和对齐方式上动刀。

6.2 后续演进路线的对照

从 Fast R-CNN 往后看，几条主线都很清楚。候选框生成被 RPN 收进网络，成了 Faster R-CNN；特征对齐被 RoI Align 修正，配合分割分支成了 Mask R-CNN；检测头的结构被反复堆叠成级联，处理 IoU 阈值不匹配的问题；再往后单阶段检测器把候选框这一步整个绕开，用密集预测加回归的方式做检测，速度上去了，小目标精度靠特征金字塔补回来。近几年 Transformer 结构也被引入检测任务，把候选框和特征对齐都变成了注意力计算，思路完全不同，但你要理解那些新结构里“查询”和“键值”在做什么，回头看看 RoI Pooling 在把空间区域压成向量这件事上扮演的角色，会很有帮助。

我个人的体会是，Fast R-CNN 这套东西最大的价值不在于它现在的精度，而在于它把检测任务的几个核心矛盾——共享计算、区域特征对齐、多任务联合训练——第一次用一套相对干净的工程方案表达出来了。你把这些矛盾理解了，再去看后来的任何检测器，都会觉得只是在不同的权衡点上做选择。实际动手复现一遍，哪怕只是跑通一个简化版本，对理解后续模型的帮助比读十篇综述都大。