Grounded-SAM+autodistill+X-AnyLabeling：零训练自动标注与数据飞轮实战

1. 自动标注的底层逻辑与方案选型

1.1 为什么自动标注是数据飞轮的起点

做过视觉项目的人都有一个共识：模型精度的天花板，往往不是网络结构决定的，而是标注数据的规模与质量决定的。一个检测模型从 80% mAP 提升到 90% mAP，改网络结构可能只贡献两三个点，剩下的大部分收益都来自“更多、更准、更一致的标注数据”。但问题在于，人工标注的成本是线性的——标一千张图和标一万张图，投入的人力几乎成正比，而且标注员的状态波动会直接反映到标签质量上。

自动标注要解决的就是这个线性成本问题。它的核心思路是：用一个已经具备一定能力的模型去“预标注”，人工只做审核和修正，把“从零画框”变成“改框”。这个转变带来的效率提升非常夸张，实测在中等难度目标上，审核修正的速度可以是纯手工标注的三到五倍。更进一步，当预标注模型本身也在迭代时，就形成了所谓的数据飞轮：模型预标注 → 人工修正 → 新数据训练 → 模型变强 → 预标注更准 → 人工修正更省力，循环往复。

我这次要拆解的这套组合拳，主角是三个工具：X-AnyLabeling负责交互式标注与审核，autodistill负责把大模型的知识蒸馏成可训练的数据集，Grounded-SAM负责提供开放词汇的检测与分割能力。三者串起来，就是一条从“零标注”到“可训练数据集”的完整流水线。

1.2 三个工具各自的定位与不可替代性

很多人会问，为什么不直接用一个大模型搞定所有事？答案是每个环节的诉求不一样，硬凑在一起反而低效。

Grounded-SAM的本质是“开放词汇检测 + 精细分割”。它由 Grounding DINO 和 SAM 组合而成：Grounding DINO 接受文本提示（比如“person”“helmet”“crack”），输出目标框；SAM 再根据框生成像素级掩码。它的强项是零样本——你不需要训练，给个词它就能找。但它的弱项也很明显：推理慢、显存吃紧、对密集小目标容易漏，而且输出的是“它认为的”，不一定符合你的项目定义。

autodistill的定位是“蒸馏调度器”。它本身不做检测，而是把各种基础模型（Grounded-SAM、DETIC、YOLO-World 等）封装成统一的接口，让你用几行代码就把大模型的输出转成标准数据集格式（YOLO、COCO、VOC）。它的价值在于流程标准化——你不用自己写一堆格式转换脚本，也不用关心底层模型怎么调。

X-AnyLabeling则是“人机协作的最后一公里”。它支持加载各种预标注模型，也支持导入已有的标注文件，核心场景是审核与修正。它的快捷键体系、批量操作、AI 辅助交互，直接决定了人工修正的效率上限。

三者组合的逻辑是：Grounded-SAM 出初稿，autodistill 做格式转换和批量调度，X-AnyLabeling 做精修和质检。缺了任何一个，流程都会出现断点。

1.3 方案选型背后的取舍

这套方案不是唯一解，但它在“零训练成本”和“可控精度”之间找到了一个很好的平衡点。我对比过几种常见路线：

我选这套方案的核心原因是：冷启动阶段没有标注数据，但又需要快速产出可训练的数据集。Grounded-SAM 的零样本能力正好填补这个空白，autodistill 解决了批量化和格式问题，X-AnyLabeling 保证了最终质量。

注意：这套方案适合“目标类别可以用自然语言描述”的场景。如果你的目标非常抽象（比如“异常状态”），文本提示很难表达，那 Grounded-SAM 的效果会打折扣，需要换思路。

2. 环境搭建与工具安装实操

2.1 X-AnyLabeling 的安装与源码运行

X-AnyLabeling 是我用过的交互式标注工具里，对 AI 辅助支持最顺手的之一。它有两种使用方式：直接下载打包好的可执行文件，或者从源码运行。如果你只是标注，下载可执行文件就够了；但如果你想改快捷键、接入自定义模型、或者调试预标注流程，建议从源码跑。

从源码运行的第一步是拉代码。官方仓库在 GitHub 上，直接 clone 下来即可。然后创建独立的 Python 环境，我习惯用 conda：

conda create -n xanylabeling python=3.10 -y conda activate xanylabeling

Python 版本建议 3.9 到 3.10，太新的版本有些依赖轮子还没跟上。接着安装依赖：

pip install -r requirements.txt

这里有个坑：requirements 里有些包在特定平台上编译会失败，尤其是onnxruntime和opencv-python。如果你在 Windows 上遇到编译错误，直接装预编译版本：

pip install onnxruntime opencv-python --only-binary=:all:

装完之后，直接运行入口文件：

python anylabeling/app.py

如果一切正常，会弹出图形界面。第一次启动可能会慢一点，因为要初始化模型缓存。

实操心得：如果你在 PyCharm 里跑源码，记得把工作目录设成项目根目录，否则相对路径的资源文件会找不到。我踩过这个坑，界面能起来但模型加载报错，排查了半天才发现是工作目录问题。

2.2 autodistill 与 Grounded-SAM 的依赖配置

autodistill 的安装相对简单，但它对 Grounded-SAM 的封装需要额外装对应的子包：

pip install autodistill pip install autodistill-grounded-sam

Grounded-SAM 本身依赖 Grounding DINO 和 SAM 的权重文件。这些权重不小，Grounding DINO 的 SwinT 版本大概 700MB，SAM 的 ViT-H 版本超过 2GB。首次运行时会自动下载，但国内网络环境下经常断，建议手动下载后放到缓存目录。

缓存目录一般在~/.cache/下，具体路径可以在代码里打印torch.hub.get_dir()确认。手动放置后，记得校验文件完整性，权重损坏会导致推理时出现莫名其妙的维度错误。

显存方面，Grounded-SAM 全流程跑起来，ViT-H 版本大概需要 8GB 以上显存。如果你的卡只有 6GB，建议换 SAM 的 ViT-B 版本，精度略降但能跑起来。autodistill 的接口里可以指定模型版本，这个后面会讲。

2.3 环境验证与最小可运行示例

环境装完，先跑一个最小示例验证链路通不通。用 autodistill 加载 Grounded-SAM，对一张测试图做检测：

from autodistill_grounded_sam import GroundedSAM from autodistill.detection import CaptionOntology ontology = CaptionOntology({ "person": "person", "helmet": "helmet" }) base_model = GroundedSAM(ontology=ontology) results = base_model.predict("test.jpg") print(results)

如果输出里有框的坐标和类别，说明链路通了。这一步的关键是CaptionOntology的映射关系：左边是你要的类别名，右边是给模型的文本提示。两者可以不一样，比如你可以把提示写成“a photo of a person”，类别名保持“person”，这样模型更容易理解。

注意：文本提示的措辞对检测结果影响很大。实测“person”和“a person”效果接近，但“worker”和“construction worker”差异明显。建议用具体、常见的名词，避免抽象词。

3. 自动标注全流程拆解

3.1 用 Grounded-SAM 生成初稿标注

整个流程的第一步，是让 Grounded-SAM 对未标注的图片批量出初稿。这里有两种做法：一种是用 autodistill 的label方法直接生成数据集，另一种是手动调 Grounded-SAM 的推理接口，拿到原始结果后再自己处理。

我推荐先用 autodistill 的标准流程跑一遍，因为它帮你处理了格式转换和目录结构：

from autodistill_grounded_sam import GroundedSAM from autodistill.detection import CaptionOntology from autodistill.utils import plot ontology = CaptionOntology({ "person": "person", "car": "car", "dog": "dog" }) base_model = GroundedSAM(ontology=ontology) base_model.label( input_folder="./images", output_folder="./dataset", extension=".jpg" )

跑完之后，./dataset下会有标准的数据集结构，包含图片和对应的标注文件。autodistill 默认输出 YOLO 格式的 txt，每行是class_id x_center y_center width height，坐标是归一化的。

这里有个细节：Grounded-SAM 的检测框有时候会偏大或偏小，尤其是边界模糊的目标。autodistill 提供了confidence阈值参数，默认 0.5。如果你的场景漏检多，可以降到 0.3；如果误检多，提到 0.6 以上。这个阈值需要根据实际数据调，没有万能值。

3.2 批量推理的性能优化与显存控制

批量跑 Grounded-SAM 最头疼的是速度和显存。我实测下来，单张 1080p 图片，ViT-H 版本在 RTX 3090 上大概 1.5 到 2 秒一张。一千张图就是半小时左右，还能接受。但如果图片分辨率更高，或者目标特别密集，时间会成倍增长。

显存控制有几个实用技巧。第一，把 batch size 设成 1，Grounded-SAM 本身不太适合批处理，强行加大 batch 容易 OOM。第二，及时释放中间变量，Python 的垃圾回收有时候不及时，可以在循环里手动torch.cuda.empty_cache()。第三，如果显存实在不够，换 ViT-B 的 SAM，显存占用能降一半左右。

import torch from autodistill_grounded_sam import GroundedSAM from autodistill.detection import CaptionOntology ontology = CaptionOntology({"person": "person"}) base_model = GroundedSAM(ontology=ontology) # 分批处理，每批结束后清理显存 for i in range(0, len(image_list), 10): batch = image_list[i:i+10] for img in batch: base_model.predict(img) torch.cuda.empty_cache()

实操心得：如果你的数据集里图片尺寸差异很大，建议先统一 resize 到相近尺寸再跑。Grounded-SAM 对超大图（比如 4K）的处理很慢，而且小目标容易被忽略。我一般会先把长边压到 1280 左右，精度损失很小，速度提升明显。

3.3 用 X-AnyLabeling 做审核与精修

初稿出来后，直接拿去训练是有风险的。Grounded-SAM 的漏检和误检在复杂场景下并不少见，尤其是遮挡、小目标、类别混淆的情况。这时候就需要 X-AnyLabeling 上场做人工审核。

X-AnyLabeling 支持直接导入 YOLO 格式的标注文件。打开软件后，选择图片目录，再指定标注文件目录，它会自动把框画出来。审核的核心操作就是几个快捷键：

• A和D：上一张、下一张
• W：新建框
• Delete：删除选中的框
• Ctrl + S：保存
• Ctrl + Z：撤销

这几个键用熟了，审核速度会非常快。我的习惯是左手放在 A、D、W 上，右手握鼠标微调框的位置。一张图如果只有几个框，两三秒就能过。

X-AnyLabeling 还有一个很实用的功能是批量操作。比如你可以选中所有同类别的框，统一调整大小或位置。这在处理系统性偏差时特别有用——如果发现 Grounded-SAM 对某一类目标的框普遍偏大，可以批量缩小几个像素。

注意：审核阶段不要追求完美。自动标注的目的是“够用”，不是“完美”。如果某个框的偏差在可接受范围内，直接过，不要纠结。把时间花在明显错误上，整体效率才高。

3.4 数据格式转换与数据集划分

审核完之后，数据还是 YOLO 格式。如果你要用其他框架训练（比如 Detectron2、MMDetection），需要转成 COCO 或 VOC。autodistill 本身提供了一些转换工具，但更通用的做法是用labelme或fiftyone这类工具做转换。

我一般会写一个小脚本做格式转换和数据集划分：

import os import random import shutil def split_dataset(img_dir, label_dir, output_dir, ratio=0.8): images = [f for f in os.listdir(img_dir) if f.endswith('.jpg')] random.shuffle(images) split = int(len(images) * ratio) for subset, files in [('train', images[:split]), ('val', images[split:])]: os.makedirs(f"{output_dir}/images/{subset}", exist_ok=True) os.makedirs(f"{output_dir}/labels/{subset}", exist_ok=True) for f in files: shutil.copy(f"{img_dir}/{f}", f"{output_dir}/images/{subset}/{f}") label_f = f.replace('.jpg', '.txt') if os.path.exists(f"{label_dir}/{label_f}"): shutil.copy(f"{label_dir}/{label_f}", f"{output_dir}/labels/{subset}/{label_f}")

划分比例一般是 8:2 或 9:1。如果数据量特别少（比如几百张），建议用交叉验证，而不是简单划分。

4. 常见问题与排查技巧实录

4.1 Grounded-SAM 检测效果差的排查思路

Grounded-SAM 效果不好，通常有三个原因：文本提示不对、阈值设置不当、图片质量太差。

文本提示是最常见的坑。比如你要检测“安全帽”，提示写“hat”可能把普通帽子也框进来，写“helmet”更准。再比如检测“裂缝”，写“crack”比“fracture”更常见，模型见过更多。我的经验是：用模型训练数据里高频出现的词。COCO 数据集里的类别名（person、car、dog 等）效果最稳，因为这些词在 Grounding DINO 的训练数据里出现最多。

阈值方面，box_threshold控制检测框的置信度，text_threshold控制文本匹配的严格度。默认值分别是 0.35 和 0.25。如果漏检多，两个都降；如果误检多，两个都升。但注意不要降得太低，否则会出现大量无意义的框。

图片质量方面，Grounded-SAM 对模糊、过曝、过暗的图片很敏感。如果原图质量差，建议先做预处理（直方图均衡、去噪），再跑检测。

4.2 X-AnyLabeling 使用中的高频问题

X-AnyLabeling 最常见的问题是标注文件加载失败。原因通常是格式不匹配或路径不对。YOLO 格式的 txt 文件，每行必须是 5 个值，类别 id 从 0 开始。如果你的类别 id 从 1 开始，或者有额外的空格、空行，都会导致加载失败。

另一个高频问题是快捷键冲突。X-AnyLabeling 默认的快捷键可能和你系统的输入法或其他软件冲突。比如Ctrl + S在某些环境下会被输入法拦截。解决办法是在设置里改快捷键，或者临时切换输入法到英文模式。

还有一个坑是大图片加载慢。X-AnyLabeling 对超大图（比如超过 8000 像素）的渲染会卡顿。如果数据集里有这种图，建议先 resize 再标注。

4.3 自动标注流程的效率瓶颈与优化

整套流程跑下来，效率瓶颈通常在两个地方：Grounded-SAM 的推理速度和人工审核的时间。

推理速度的优化前面讲过了，核心是控制图片尺寸和显存。人工审核的优化，除了快捷键，还有一个技巧是按类别审核。比如先只看“person”类，把所有 person 的框过一遍，再看“car”类。这样注意力更集中，不容易漏。

另外，如果某一类目标的自动标注质量特别差，可以考虑跳过自动标注，直接手工标。比如小目标密集的场景，Grounded-SAM 漏检严重，与其花时间修，不如直接标。这个判断需要根据实际数据做，没有固定标准。

实操心得：我一般会在正式跑全量数据之前，先抽 20 到 30 张做小批量测试。调整好提示词和阈值，确认效果可接受，再跑全量。这样能避免跑了几千张才发现效果不行，白白浪费时间。

5. 数据飞轮的闭环与迭代策略

5.1 从自动标注到模型训练的闭环

自动标注的最终目的不是标注本身，而是训练出更好的模型。第一轮自动标注 + 人工修正得到的数据集，训练出一个 baseline 模型。这个模型虽然精度不如人工精标的数据集训出来的，但已经具备了一定的检测能力。

接下来就是飞轮转起来的关键：用 baseline 模型去预标注新的未标注数据。因为 baseline 模型是在你的数据分布上训练的，它对你的场景更熟悉，预标注质量通常比 Grounded-SAM 更好。然后再人工修正，再训练，循环往复。

这个循环里，每一轮的人工修正量会逐渐减少，因为模型越来越准。我实测过一个项目，第一轮修正率大概 40%（意思是 40% 的框需要调整），第三轮降到了 15% 左右，效率提升非常明显。

5.2 主动学习与难例挖掘的接入点

飞轮转了几轮之后，会遇到一个瓶颈：随机抽样的数据，模型已经标得很准了，修正带来的收益变小。这时候需要引入主动学习，优先标注那些模型“不确定”的样本。

不确定性的衡量方式有几种：置信度低、多个模型预测不一致、损失函数值高。在检测任务里，最实用的是置信度低。你可以让模型对未标注数据做推理，把置信度在 0.3 到 0.6 之间的样本挑出来，优先送人工审核。这些样本是模型最“纠结”的，修正后对模型的提升最大。

autodistill 本身不直接支持主动学习，但你可以自己写一个筛选逻辑，把低置信度样本挑出来，再走 X-AnyLabeling 审核流程。

5.3 长期迭代中的版本管理与数据溯源

飞轮转起来之后，数据版本管理就变得很重要。每一轮标注的数据集、对应的模型权重、训练配置，都需要记录清楚。否则出了问题很难回溯。

我的做法是用简单的目录结构 + 元数据文件：

project/ datasets/ v1/ images/ labels/ meta.json v2/ ... models/ v1/ weights.pt config.yaml v2/ ...

meta.json里记录这一版数据集的来源、标注轮次、修正率、类别分布。这样任何时候都能查到某一版模型是用哪一版数据训的。

注意：不要覆盖旧版本的数据和模型。哪怕新版本更好，旧版本也有回溯价值。存储成本相对于重新标注的成本，几乎可以忽略。

6. 一些踩坑之后的个人体会

这套流程我跑过几个项目，有顺利的也有翻车的。最大的体会是：自动标注的质量，七分靠提示词，三分靠模型。Grounded-SAM 的能力上限是固定的，但你怎么用它，决定了它能发挥多少。提示词写得好，漏检误检能少一半。

另一个体会是：不要指望全自动。自动标注的价值在于把人工从“画框”变成“改框”，而不是完全替代人工。审核环节不能省，尤其是第一轮。第一轮的数据质量决定了 baseline 模型的质量，baseline 又决定了后续飞轮的起点。起点歪了，后面越转越偏。

最后分享一个小技巧：X-AnyLabeling 的配置文件里可以预设类别列表和颜色。把常用类别配好，标注时直接选，不用每次输入。这个配置在~/.anylabeling/下，改一次省很多事。