论文阅读三：Object-Detection-in-20-Years-A-Survey

论文阅读笔记（三）：Object-Detection-in-20-Years-A-Survey 目标检测综述论文

论文信息
标题：Object Detection in 20 Years: A Survey
文献类型：综述
来源：Proceedings of the IEEE ( Volume: 111, Issue: 3, March 2023)
年份：2023
作者：Zhengxia Zou; Keyan Chen; Zhenwei Shi; Yuhong Guo; Jieping Ye
论文链接

总体结构梳理

一、传统检测器

1. Viola Jones检测器

• 核心任务：首次实现了无约束条件下的实时人脸检测。

• 工作方式：采用最直观的滑动窗口（Sliding Windows）策略，遍历图像中所有可能的位置和尺度来寻找人脸。

• 三大加速法宝：由于计算量巨大，VJ检测器引入了三项重要技术大幅提升速度：积分图（Integral Image）、特征选择（Feature Selection）和检测级联（Detection Cascades）。

• 地位：在700 MHz的CPU上，速度比当时其他算法快数十甚至数百倍，是早期计算机视觉巧妙设计的典范。

2.HOG检测器

• 核心特征：提出了方向梯度直方图HOG特征描述子。它是对当时尺度不变特征变换（SIFT）和形状上下文的重要改进。

• 设计原理：为了平衡特征不变性（平移、尺度、光照）与非线性，HOG在均匀间隔的细胞单元网格上计算，并使用重叠的局部对比度归一化（在“块”上）。

• 工作方式：最初主要为了解决行人检测问题。为了检测不同大小的目标，HOG检测器会多次重新缩放输入图像，同时保持检测窗口大小不变。

• 地位：HOG多年来一直是许多目标检测器和大量计算机视觉应用的重要基础。

3.可变形部件模型（DPM）

• 核心荣誉：VOC-07、-08、-09 检测挑战赛的冠军，是传统目标检测方法的集大成者。

• 核心哲学：遵循“分而治之”的检测哲学。将训练看作学习如何合理地分解物体（例如，检测“汽车”可以分解为检测车窗、车身和车轮）；将推理看作对不同部件检测结果的集成（最初称为“星形模型”）。

• 技术演进：后来，Girshick等人将星形模型扩展为“混合模型”，以应对现实世界中更复杂的物体变化，并引入了边界框回归、难负样本挖掘（HNM）和上下文引导等重要概念。

• 地位：虽然现在的检测器精度早已超越DPM，但许多现代检测器依然深受其核心思想的影响。2010年，PASCAL VOC授予其作者“终身成就奖”。

二、基于深度学习的目标检测器

1.基于CNN的两阶段检测器

核心思想：将检测视为“由粗到精”（coarse-to-fine）的过程。先提取候选区域（粗），再对候选区域进行分类和位置回归（精）。这类方法精度高，但速度较慢、结构复杂。

• RCNN（2014）
  使用选择性搜索提取约2000个候选框，缩放到固定大小后输入CNN提取特征，最后用SVM分类和线性回归微调位置。

  • 贡献：打破传统特征瓶颈，VOC07 mAP从33.7%跃升至58.5%。
  • 缺点：大量重叠候选框导致重复计算，速度极慢（GPU下14秒/张）。

• SPPNet（2014）
  引入空间金字塔池化（SPP）层，使网络能接受任意尺寸输入，且只需对整张图提取一次特征，再在特征图上提取候选区域特征。

  • 贡献：比RCNN快20倍以上，精度不降（VOC07 mAP=59.2%）。
  • 缺点：训练仍是多阶段的，且仅微调全连接层。

• Fast RCNN（2015）
  整合RCNN和SPPNet的优点，使用ROI池化层，将分类和边界框回归统一在同一个网络中同时训练。

  • 具体流程
    整张图像 → CNN卷积网络（一次性提取全局特征图）→ 特征图
    ↓
    选择性搜索算法 → 生成候选框 → 映射到特征图
    ↓
    ROI Pooling层（统一缩放到固定尺寸）
    ↓
    全连接层→分为两个并行分支：Softmax分类器：预测类别+ 边界框回归器：微调位置
    ↓
    多任务损失函数（分类损失 + 定位损失）→ 反向传播更新整个网络
  • 贡献：VOC07 mAP提升至70.0%，速度比RCNN快200多倍。
  • 缺点：候选框提取仍依赖外部算法（如选择性搜索），成为速度瓶颈。

• Faster RCNN（2015）

  • 做法：引入区域候选网络（RPN），用CNN自身生成候选框，并将候选框生成、特征提取、分类和回归全部整合到一个统一的端到端框架中。
  • 贡献：首个接近实时的深度学习检测器（17 fps），奠定了现代两阶段检测器的基础。

• 特征金字塔网络FPN（2017）
  采用带有横向连接的自顶向下架构，融合深层语义特征和浅层高分辨率特征，在所有尺度上构建高层语义。

  • 工作流程
    1)自底向上路径（Bottom-up pathway）：即CNN的正常前向传播，逐层提取特征，特征图尺寸逐渐变小，语义逐渐变强。
    2)自顶向下路径（Top-down pathway）：将深层的特征图进行上采样（放大），使其尺寸与浅层特征图一致。
    3)横向连接（Lateral connections）：将上采样后的特征图与同一层级的浅层特征图进行逐元素相加（element-wise addition）。通过这种方式，把深层的强语义信息融入到了浅层的高分辨率特征中。
    4)多尺度预测：在融合后的每一个尺度的特征图上，都分别接入检测头（分类和回归），去检测不同大小的目标。
  • 贡献：极大提升了对多尺度（尤其是小目标）的检测能力，现已成为众多先进检测器的标准基础组件（COCO mAP@.5=59.1%）。

目标检测路线图如下：

2.基于CNN的单阶段检测器

核心思想：将检测视为“一步完成”的回归问题，直接在图像上预测类别和边界框。这类方法速度快、易于部署，但早期在密集和小目标检测上精度不如两阶段。

• YOLO（2015）
  • 做法：将图像划分为网格，将整张图像送入一个单一的CNN网络中进行特征提取，每个网格直接预测边界框和类别概率，网络最后直接输出所有的框和概率，最后通过非极大值抑制（NMS）去除冗余的重复框，得到最终检测结果，把检测当作单一的回归问题。
  • 特点：速度极快（155 fps），但定位精度较差，尤其是小目标检测效果不好。
• 单次多框检测器SSD（2015）

SSD与以往检测器（包括YOLO）最大的不同在于：它在网络的不同层上检测不同尺度的目标，而不是只在网络的最高层（顶层）运行检测。SSD引入了两项关键技术——多参考和多分辨率检测，从而显著提升了单阶段检测器的精度。

1）多分辨率检测：SSD在主干CNN的多个不同层级的特征图上进行预测。浅层特征图分辨率高，用来检测小目标；深层特征图分辨率低但语义强，用来检测大目标。
2）多参考检测（锚框机制）：在每一层特征图的每个位置上，预先设置一组不同尺度和长宽比的先验框（Default boxes/Anchors），网络基于这些参考框来预测最终的边界框。
3）单次前向传播：像YOLO一样，输入整张图像，通过一次前向传播，直接输出所有层级的检测结果。

• RetinaNet（2017）

  • 解决的问题：单阶段检测器（如YOLO、SSD）长期以来精度不及两阶段检测器。论文揭示其核心病因在于：密集检测器在训练时面临极端的“前景-背景类别不平衡”，海量的简单背景样本淹没了模型的学习过程。
  • 创新：RetinaNet提出了一种全新的损失函数——Focal Loss（焦点损失）。它通过重塑标准交叉熵损失，降低了大量简单负样本的权重，让模型在训练时高度聚焦于那些难分类的误分类样本。
  • 贡献：使单阶段检测器首次达到与两阶段检测器相媲美的精度，同时保持极高速度。

• CornerNet（2018）

  • 做法：摒弃传统的锚框（Anchor boxes）机制，将目标检测视为关键点（边界框左上角和右下角）预测问题，通过嵌入信息将角点配对成框。

  • 贡献：避免了锚框带来的超参数设计和类别不平衡问题，性能优于当时多数单阶段检测器。

• CenterNet（2019）

  • 做法：进一步简化，将目标视为中心点，直接回归该点对应的目标属性（尺寸、方向等）。

  • 贡献：无需复杂的角点配对和NMS后处理，实现了完全端到端检测，模型简洁优雅，还能扩展到3D检测、姿态估计等任务。

• DETR（2020）

  • 做法：首次将Transformer架构引入目标检测，将检测视为集合预测问题，实现了无需锚框和无NMS的完全端到端网络。

  • 贡献：开辟了目标检测的新时代（基于注意力机制），后续的Deformable DETR解决了其收敛慢和小目标性能差的问题，在COCO上达到了SOTA。

三、目标检测数据集

1. Pascal VOC

• 历史地位：早期计算机视觉社区最重要的竞赛之一（2005-2012年）。

• 规模与类别：目标检测最常用的是VOC07（5k训练图+12k标注对象）和VOC12（11k训练图+27k标注对象）。仅包含20类生活中常见的对象（如人、猫、自行车、沙发）。

• 主要特点：数据集相对较小，主要用于评估基础检测性能，是传统检测器（如DPM）和早期深度学习检测器（R-CNN系列）的“练兵场”。

2. ILSVRC

• 历史地位：推动了通用目标检测最先进水平的提升（2010-2017年举办）。

• 规模与类别：基于ImageNet图像构建，包含200类视觉对象。其图像和对象实例数量比VOC大两个数量级。

• 主要特点：规模庞大，极大地考验了模型在大规模数据上的泛化能力，是深度学习爆发初期重要的基准测试集。

3. MS-COCO

• 历史地位：当今最具挑战性的目标检测数据集，自2015年起每年举办竞赛，已成为目标检测领域的事实标准。

• 规模与类别：以 MS-COCO-17 为例，包含 164k 图像和 897k 个标注对象，涵盖80类。

• 核心创新（三大难点）：

  • 逐实例分割标注：除了边界框，每个对象还有像素级的掩码（Mask）标注，极大地促进了精确定位的研究。
  • 更多小目标：包含大量面积小于图像1%的小物体。
  • 更多密集对象：包含大量聚集在一起的物体。

• 评价指标变化：促使评价指标从单一的固定IoU阈值（0.5），转变为在多个IoU阈值（0.5~0.95）上取平均，鼓励模型实现更精准的定位。

4. Open Images（OID）

• 历史地位：2018年推出，在MS-COCO之后发布，但规模达到了前所未有的程度。

• 规模与类别：对于标准检测任务，包含191万张图像和1544万个标注边界框，涵盖600类对象。

• 主要特点：除了标准的目标检测任务外，还包含视觉关系检测（Visual Relationship Detection）任务（即检测具有特定关系的成对对象）。海量的数据使其成为研究大规模、复杂场景检测的重要资源。

从VOC（20类，小规模）→ ILSVRC（200类，超大规模）→ MS-COCO（80类，注重小目标/密集场景/像素级分割/严格定位）→ Open Images（600类，千万级标注，包含关系检测），数据集的演进直观地反映了目标检测技术对更大规模、更复杂场景、更高定位精度的不断追求。

四、评价指标

1. 经典指标：AP与mAP

• AP（Average Precision，平均精度）：2007年在VOC中引入，是最常用的检测指标。它定义为在不同召回率下的平均检测精度。通常按类别分别评估。

• mAP（mean Average Precision）：将所有类别的 AP 求平均，作为最终的性能衡量标准。

2. 定位精度指标：IoU与IoU阈值

• IoU（Intersection over Union，交并比）：用于衡量预测框与真实框（Ground Truth）的重合程度。

• 0.5-IoU mAP：通过设置 IoU 阈值（如 0.5），判断预测框是否被算作“检测到”。如果 IoU 大于 0.5 即为检测成功。0.5-IoU mAP 曾长期作为目标检测的“事实标准”指标。

3. 现代严格指标：MS-COCO的多阈值 AP

• 背景：2014年后，随着 MS-COCO 数据集的引入，研究人员开始极度重视定位精度（例如，机器人抓取扳手需要极高的准确度）。

• MS-COCO AP：放弃了单一的 0.5 阈值，而是在多个 IoU 阈值（从 0.5 到 0.95 之间，步长 0.05）上分别计算 AP，然后取平均值。

• 意义：这种严格的指标极大地鼓励了更精确的物体定位，淘汰了那些仅仅“框个大差不差”的模型。

五、目标检测关键技术

1. 多尺度检测技术

核心痛点：如何检测图像中大小不一、长宽比不同的物体？

2. 上下文增强技术

核心思路：利用物体与周围环境（上下文）的关联来辅助检测，类似于人类大脑的视觉认知。

3. 难负样本挖掘（HNM）技术

核心痛点：检测器的训练是极端不平衡的（在滑动窗口中，背景与物体的比例可达10⁷:1）。海量的简单背景（简单负样本）会淹没学习过程。

4. 损失函数的技术

核心构成：目标检测的监督由分类损失和定位损失组成。

5. 非极大值抑制 NMS

核心作用：相邻窗口通常得分相似，NMS 用作后处理，去除重复的边界框。

六、目标检测加速技术

检测器加速一直是难题。加速技术分为三个层级：检测流水线层面加速、检测器网络引擎层面加速、数值计算层面加速。

1. 检测流水线层面加速

• 核心思想：从宏观的算法流程设计上减少计算量，避免不必要的冗余计算。
• 特征图共享计算(Feature Map Shared Computation)：这是最常用的思路。在检测器的不同计算阶段中，特征提取通常占据主导地位。为了避免对重叠的候选区域重复计算特征，只对整张图像计算一次特征图，然后在特征图上提取各个区域的特征（如 SPPNet、Fast RCNN 所做）。这通常能带来数十甚至数百倍的加速。
• 级联检测(Cascaded Detection)：采用“由粗到精”的哲学。先用简单的计算过滤掉大部分简单的背景窗口，然后再用复杂的计算去处理那些更难的、可能包含物体的窗口。这在“大场景中的小目标”任务（如人脸检测、行人检测）中尤为常用。

2. 检测器网络引擎层面加速

• 核心思想：在神经网络模型本身的架构设计上进行轻量化处理。

• 网络剪枝与量化(Network Pruning and Quantification)：

  • 剪枝：迭代地移除网络中不重要的权重或结构。

  • 量化：缩短代码长度，例如将激活值或权重量化为二进制变量（0/1），将浮点运算转换为逻辑运算。

• 轻量级网络设计(Lightweight Network Design)：直接设计更高效的网络结构，具体包括：

  • 分解卷积 (Factorizing Convolutions)：将大卷积核分解为小卷积核（如7×7 拆成三个 3×3），或在通道维度上分解。

  • 组卷积 (Group Convolution)：将特征通道分组独立卷积，计算量可降至 1/m。

  • 深度可分离卷积 (Depthwise Separable Convolution)：组卷积的特例，极大降低计算复杂度。

  • 瓶颈层设计 (Bottle-Neck Design)：压缩输入层或特征图，使网络变“瘦”。

• 神经架构搜索 (NAS)：利用自动化搜索技术来代替人工设计网络骨干和锚框，寻找最优的网络架构。

3. 数值计算层面加速

• 核心思想：从最底层的数学运算和硬件实现角度来加速，利用数学技巧减少运算量。

• 积分图加速(Speedup With Integral Image)：利用卷积的积分-微分可分离性。积分图可以快速计算图像子区域的求和，常用于快速计算 HOG 特征或颜色直方图（如 Integral HOG Map）。

• 频域加速(Speedup in Frequency Domain)：利用信号处理中的卷积定理。在合适的条件下，卷积操作可以通过快速傅里叶变换（FFT）转到频域进行点乘运算，然后再逆变换回来，从而加速卷积。

• 矢量量化(Vector Quantization, VQ)：一种经典的信号处理量化方法，通过少量原型向量来近似大量数据的分布，可用于数据压缩和内积运算的加速。

总结：这三层加速技术互相配合：流水线层面砍掉重复的宏观计算；引擎层面打造更轻量的网络模型；数值层面挖掘底层数学运算的极限效率。三者共同构成了目标检测模型在真实场景（尤其是移动端/边缘设备）落地的速度保障。

七、目标检测最新进展

八、未来研究方向

1. 轻量级目标检测 (Lightweight Object Detection)

• 目标：让检测模型能在低功耗的边缘设备（如手机、智能摄像头、自动驾驶汽车）上实时运行。

• 痛点：目前机器的检测速度与人类视觉相比仍有较大差距，尤其是针对小目标的检测。

2. 端到端目标检测 (End-to-End Object Detection)

• 目标：设计从输入图像直接输出预测框的完整端到端流水线。

• 痛点：虽然已有基于一对一标签分配的方法（如 DETR），但大多数模型仍依赖一对多分配，且必须使用独立的 NMS（非极大值抑制）后处理。未来需兼顾高精度与高效率。

3. 小目标检测 (Small Object Detection)

• 目标：在广阔场景中准确检测微小物体（如卫星图像中的军事目标、密集人群）。

• 方向：结合视觉注意力机制，设计高分辨率的轻量级网络。

4. 3D目标检测 (3-D Object Detection)

• 目标：不仅检测 2D 位置，还要获取物体在 3D 世界中的深度、位置和姿态。

• 应用：这是自动驾驶等应用的核心需求，未来将更多利用多传感器、多视角数据（如 RGB 图像 + 3D LiDAR 点云）。

5. 视频中的检测 (Detection in Videos)

• 目标：实现高清视频中的实时检测与跟踪。

• 痛点：传统检测器逐帧处理，忽略了视频帧之间的时空相关性。未来需在有限算力下，充分挖掘和利用时空关联信息。

6. 跨模态检测 (Cross-Modality Detection)

• 目标：像人类感知一样，融合多种数据源（如 RGB-D 图像、LiDAR、声音、文本）进行更准确的检测。

• 难点：如何将训练好的检测器迁移到不同模态数据，以及如何进行有效的信息融合。

7. 迈向开放世界检测 (Toward Open-World Detection)

• 目标：让模型具备发现未知类别物体的能力（零样本检测、增量检测、域外泛化）。

• 愿景：人类能在没有监督信号时发现新事物，并在获得标签后学习。目前算法难以检测未知类别的物体，这是机器人、自动驾驶等领域的巨大挑战。

8. 多模态与大模型结合
虽然论文原文重点列了上述方向，但“跨模态”和“Transformer/大模型”的引入，意味着未来检测将走向更强的泛化能力和多源信息融合。