DETR + SAM 实例分割集成中 SAM 精度低的全面诊断与解决方案：从问题定位到系统优化的完整技术指南
摘要
Segment Anything Model (SAM) 作为图像分割领域的基础模型，凭借其强大的零样本泛化能力，已被广泛集成到各种下游任务中。DETR (Detection Transformer) 作为端到端目标检测的里程碑模型，与 SAM 的集成形成了一个极具潜力的实例分割框架——由 DETR 提供边界框提示，SAM 据此生成精确的分割掩码。然而，在实际部署中，一个令人困惑的普遍现象是：DETR 可以正常跑通且达到与原作者相近的检测分数，而 SAM 的分割分数却显著偏低。本文针对这一“检测正常、分割异常”的系统性难题，从多个维度进行深入诊断，系统分析了根本原因，并提供了从快速诊断到深度优化的完整解决方案。本文涵盖：Prompt 质量诊断、微调策略选择、损失函数设计、适配器注入、架构改进及超参数优化，提供完整的代码实现与详细的原理解释，旨在帮助开发者系统性地解决 DETR+SAM 集成中的分割精度问题。
关键词：DETR；Segment Anything Model (SAM)；实例分割；模型集成；微调；适配器；Prompt 优化
一、引言与问题背景
1.1 任务定义与研究动机
目标检测与图像分割是计算机视觉领域的两大核心任务。DETR 通过 Transformer 架构实现了端到端的目标检测，消除了对锚点和 NMS 等手工设计组件的依赖，在目标检测任
