RT-DETR系列家谱图：从RT-DETR、DEIM到D-FINE，一文看懂RT-DETRv4的演进之路-开发者社区

【免费下载链接】RT-DETRv4

[ECCV 2026] RT-DETRv4: Painlessly Furthering Real-Time Object Detection with Vision Foundation Models

项目地址：https://gitcode.com/gh_mirrors/rt/RT-DETRv4

RT-DETRv4 是 ECCV 2026 收录的新一代实时目标检测家族模型，通过视觉基础模型（Vision Foundation Models）蒸馏框架，让轻量检测器"无痛"获得更强的特征表达能力。如果你一直在关注 RT-DETR、DEIM、D-FINE 这些名字，却不清楚它们之间的关系，这篇 RT-DETRv4 系列演进指南将帮你一文看懂整个家谱图。

一张图看懂 RT-DETR 家族家谱

先上结论：RT-DETR 并非单一模型，而是一条持续迭代的实时目标检测技术脉络。各代模型的演进路线如下：

代际	模型	核心贡献	一句话理解
v1	RT-DETR	Hybrid Encoder + IoU-Aware 匹配	证明 DETR 也能实时推理
v2	RT-DETRv2	更高效的解码器与训练策略	精度/速度再平衡
v3	RT-DETRv3	训练稳定性与收敛速度优化	缩小与离线模型的差距
旁支	D-FINE	Faster & FINer Convergence	让 DETR 收敛更快、训练更省
旁支	DEIM	Improved Matching for Fast Convergence	改进匹配策略，加速收敛
最新	RT-DETRv4	视觉基础模型蒸馏（DINOv3 教师）	轻量模型"白拿"大模型表征

📌 从代码就能验证这条血脉：RT-DETRv4 的核心模块明确标注 "Modified from DEIM"，说明它站在 DEIM / D-FINE 的肩膀上继续前进，见 engine/rtv4/init.py。

上图正是这条演进之路的成果展示：红色粗线为 RT-DETRv4，它与 RT-DETR、RT-DETRv2、RT-DETRv3、D-FINE、DEIM、DEIMv2 以及 YOLO 系列同场竞技——在每个延迟档位上几乎都处于最左上角（更快且更准）。

各代模型的关键突破

RT-DETRv1 / v2：实时 DETR 的开端

RT-DETR：首次用 Hybrid Encoder 把 DETR 的端到端优势带入实时场景，摆脱锚框设计，配置见 configs/base/dfine_hgnetv2.yml。
RT-DETRv2：优化解码器结构与训练流程，进一步压缩推理延迟，相关配置存放在 configs/rtv2/ 目录，例如 rtv2_r50vd_6x_coco.yml。

D-FINE：收敛更快，训练更省

D-FINE 主打 "Faster and FINer Convergence"，通过更精细的匹配与损失设计让模型收敛更快、训练成本更低。它是 RT-DETRv4 的直接底座：

基础配置：configs/dfine/dfine_hgnetv2_s_coco.yml
损失项只有mal、boxes、local三项（见 configs/base/deim.yml），为后续加入蒸馏留出空间。

DEIM：改进匹配策略

DEIM（DETR with Improved Matching）改进了目标-查询的匹配方式，让检测器在更少迭代内达到更高精度，配置位于 configs/deim/，例如 deim_hgnetv2_s_coco.yml。RT-DETRv4 的模型主体 engine/rtv4/rtv4.py 正是从该代码库演化而来。

RT-DETRv4：视觉基础模型蒸馏

RT-DETRv4 的最大看点，是引入了一个低成本、可适配的蒸馏框架：

教师模型：默认使用 DINOv3 的 ViT-B/16 预训练模型，实现见 engine/rtv4/dinov3_teacher.py。
学生网络：在 D-FINE/DEIM 结构上扩展了 Hybrid Encoder，接收教师特征（distill_teacher_dim: 768），代码位于 engine/rtv4/hybrid_encoder.py。
自适应蒸馏损失：在原有mal/boxes/local之外新增loss_distill，并支持按训练阶段动态调整权重，实现见 engine/rtv4/rtv4_criterion.py，关键开关在 configs/rtv4/rtv4_hgnetv2_s_coco.yml 的distill_adaptive_params配置中。

这套"大模型教小模型"的思路，意味着部署时只需要推理轻量学生模型，蒸馏开销全部留在训练阶段。

RT-DETRv4 性能如何？

官方在 COCO 数据集上的结果（T4 GPU 上实测延迟）：

模型	AP	AP50	AP75	延迟 (T4)	FPS
RT-DETRv4-S	49.8	67.1	54.0	3.66 ms	273
RT-DETRv4-M	53.7	71.0	58.4	5.91 ms	169
RT-DETRv4-L	55.4	73.0	60.3	8.07 ms	124
RT-DETRv4-X	57.0	74.6	62.1	12.90 ms	78

最小的 S 版本即可跑到273 FPS，X 版本 AP 达到 57.0，全面超越此前的实时检测器，重新定义了"实时 + 高精度"的上限。

仓库速览：从哪一步开始上手

🚀 训练入口：train.py，配合 configs/rtv4/ 下任意配置即可启动。
🧠 模型与训练核心：engine/rtv4/（解码器、编码器、匹配器、损失、教师模型都在这里）。
⚙️ 基础配置：configs/base/，包含数据加载器、优化器等可复用模块。
📊 部署与评测工具：tools/deployment/ 支持导出 ONNX / TensorRT，tools/benchmark/ 提供 FLOPs 与延迟测试。

💡 小贴士：该仓库同时支持复现 DEIM、D-FINE 和 RT-DETRv2，直接运行对应的 yml 配置即可，方便你横向对比各代差异。

总结

RT-DETR 家族的演进路径可以浓缩为一句话：v1/v2 解决"能不能实时"，v3 与 D-FINE/DEIM 解决"训练快不快"，RT-DETRv4 则用视觉基础模型蒸馏解决了"精度还能不能更高"。对新手来说，入门实时目标检测，从 RT-DETRv4 的官方实现开始，就是站在整条技术脉络的最前沿。