CLIP零样本分类：论文精读与无人机航拍应用实战

上个月我在整理一批无人机航拍图时，做了个有点“反常识”的小测试：把一个完全没有为故障检测准备过的多模态模型找来，不改动任何参数，只输入一句英文描述“a photo of a broken solar panel”，几秒钟后，模型从三百多张航拍图里把那些带裂纹、有遮挡的光伏板一张接一张捞了出来。这个模型就是CLIP（Contrastive Language-Image Pre-training），一篇关于“用自然语言监督训练视觉模型”的经典论文。这篇论文我前后读了三遍，每次读都会有新的理解，后来我又在无人机（UAV）项目里反复用它做土地分类、异常目标筛选、巡检辅助标注，算是把论文里的思路和现实场景中的坑都摸过一遍。今天这篇文章，把CLIP的论文精读笔记和UAV应用方法完整讲一遍。无论你是做视觉算法的、做无人机数据处理的，还是刚入门多模态的新人，应该都能从中找到可以直接抄走的思路。

1. CLIP 出现之前：为什么视觉模型总是“换个场景就报废”

1.1 传统训练范式的隐性成本：标签就是天花板

很多同学第一次接触CLIP时，只记住了它“零样本分类很强”，却不知道它到底改变了什么。要理解CLIP，得先从旧范式的痛处看起。

传统图像分类的训练方式是：先定类别，比如“车辆”“行人”“建筑”，然后收集数据、逐张标注，再把图片送进模型训练。这个流程看起来没问题，但一旦落到实际项目里就会发现一个致命约束——类别一旦固定，模型能力就被钉死在名单上。分类头的输出维度就是类别数，你想在识别“车辆、行人、建筑”之外再加一个“破损光伏板”，不好意思，得重新采集数据、重新标注、重新训练。

我在一个巡检类项目里见过某团队的做法，他们要识别三种电力缺陷，前后手工标注了一万两千多张图，光人工标注就花了三周。等到冬天光照条件一变，缺陷形态跟着变化，模型又开始大量漏检，整个流程被迫再来一遍。这个痛点在所有垂直领域都存在：公开数据集里根本没有“违章阳光房”“风筝挂线”“黑臭水体”这种业务类别，你需要的新类别永远是少数派，标注成本高得离谱。

而且，哪怕你用了预训练-微调这套成熟打法，下游任务仍然需要一个带标签的数据集去微调最后分类头。骨干网络学到了通用特征，但最终做决策的那一层还是“固定大小的分类器”。从严格意义上说，预训练只是把前期训练成本降低了，并没有解决“标签空间固定”这个根本问题。CLIP之所以让我眼前一亮，正是因为它把这个标签空间从“有限集合”变成了“无限文本描述集合”。

1.2 语言监督：用“描述”代替“标签”

人类认识新事物的方式通常不是查标签表，而是听描述。家长指着天上的鸟说一句“这是乌鸦”，小孩以后就能认出乌鸦，哪怕换一只、换一个场景，也能泛化。CLIP想做的是同样的事：不再让模型记住“类别id=5代表乌鸦”，而是让模型学会“乌鸦”这个词对应的视觉特征长什么样。

这个思路之所以可行，是因为互联网上天然存在海量的“图片+文字”配对。一张照片配一句标题，一条微博配一张图，一条商品介绍配一张产品图——这些配对没有经过人工整理，没有统一的类别列表，但语言本身包含了足够丰富的视觉语义。一张图配上一句“夕阳下的芦苇荡”，这个描述虽然模糊，却暗含了“芦苇”“夕阳”“水面”等一堆视觉概念。

CLIP的训练目标可以概括成一句话：把图片和文字分别编码成向量，如果图片和文字描述的是同一个语义，就让它们在向量空间里靠近；如果描述的不是同一个语义，就推远。于是，任何你能写成一句话的视觉概念，都能通过文本通道“注入”模型。这就是“一句话让模型认识世界”的真实含义——不是语言生成了图像，而是语言成了视觉分类的入口。

2. 论文精读：CLIP 是怎么把图像和文字塞进同一个向量空间的

2.1 双塔结构：为什么图像编码器和文本编码器必须分开

CLIP的整体架构可以用四个字概括：双塔编码。图像侧用一个图像编码器，文本侧用一个文本编码器，两者各自把输入转换成一个向量，且最终都映射到同一个向量空间维度上。论文里图像编码器尝试了ResNet系列和ViT系列，文本编码器则用Transformer。为什么是两套独立的塔而不是一个多模态大模型？这里有两个很实际的原因。

第一，双塔结构解耦了图像和文本。预训练阶段两个塔同时更新，但部署阶段可以只保留图像塔，甚至可以把候选文本特征全部提前算好存起来。做零样本分类时，任意来一张新图，只需要过一遍图像编码器，拿这个图像向量和所有候选文本向量做点积、排序，即可得到分类结果。这个效率优势对无人机这种需要批量处理海量帧的场景非常关键。

第二，对比学习本质上不需要生成文本。如果做一个单塔生成式模型，让模型根据图片逐字“写”出描述，训练代价会高很多，而且生成任务并不保证学到的特征最适合检索和分类。双塔用一个轻量的对比目标，就能让图像和文本在共享空间里对齐，工程上更干净。你可以把图像塔和文本塔分别理解为两个“翻译官”，一个把图像翻译成向量，一个把文本翻译成向量，只要两个翻译结果在同一空间里对得上，就说明模型理解了图文之间的语义关系。

2.2 对比学习的核心：batch 内的正样本与负样本

CLIP训练用的数据是约四亿对“图片-文本”对，来源主要是网络公开页面。这些数据没有精细的人工标注，很多描述还带噪声，但CLIP用对比学习把它们变成了可用的监督信号。

具体做法是这样的：取一个batch，里面有N张图片和N条文本，图片和文本一一配对。图像编码器把这N张图变成N个向量，文本编码器把N条文本变成另外N个向量。对于每一张图来说，它自己对应的那条文本是正样本，batch里其他N-1条文本都是负样本；同理，对每一条文本来说，它对应的那张图是正样本，其他N-1张图都是负样本。模型要学习的是：在N乘N的相似度矩阵里，对角线上的配对相似度要远高于非对角线，然后按这个目标计算交叉熵损失。

这个目标在论文里是对称的，图像到文本方向算一次，文本到图像方向再算一次，两个损失相加一起优化。为什么选对比学习而不是让模型直接生成描述？我打过一个比方：对比学习像是拿到一张照片和一组名字，要求你从名单里找出和照片对应的人；生成式学习则是要求你喝完一杯水后，把水的分子结构默写出来。前者只需要做“连连看”，后者要完整建模细节，成本和难度完全不是一个量级。对互联网这种大规模含噪图文数据来说，对比学习是性价比最高的对齐方式。

2.3 数据规模与训练配方：为什么“大”本身就是一种策略

论文里有一个反复出现的结论：随着训练数据量、模型参数量、训练时长的增加，zero-shot能力持续上升。这个结论听起来很朴素，但它彻底改变了视觉预训练的路线图。以前大家默认视觉模型要的是精细标注，CLIP告诉大家：用互联网弱监督图文对，堆数据、堆算力，也能训练出强大的可迁移视觉表示。

论文团队还花了大量精力做消融实验，最终定下了一套“大batch、长训练、大规模”的训练配方。我发现很多同学读论文时，只关注CLIP“零样本分类很惊艳”这层，忽略了背后的计算成本。实际上CLIP能成功，依靠的是高质量图文对数据、足够大的模型、足够长的训练时间三件事同时成立，缺一不可。这也解释了很多人在小数据集上复现CLIP训练效果不佳的原因——不是原理错了，而是规模还没到“涌现”的临界点。

在公开图像分类基准上，CLIP的zero-shot top-1准确率能做到约76%，这个数字已经接近当年有监督模型的水平。最震撼的不是76%本身，而是整个推理过程一张标注数据都没用。与此同时，论文还提到了一个当时被很多人当成“工程琐事”的细节：给类别文本加模板（比如“a photo of a {label}”）和多模板集成，能让准确率再涨几个点。我当时读到这段特别有感触，因为这说明CLIP不仅要看“用什么模型”，还要看“怎么写文本提示”，文本侧的表达质量直接影响视觉识别的上限。

2.4 零样本能力是怎么迁移到新任务的

理解CLIP的零样本迁移，最重要的视角是“把分类重新定义成文本匹配”。传统分类器把类别做成one-hot，CLIP把类别做成一句话甚至一组话。在新任务上，你不需要重新训练，只需要把新类别的名称填入模板，得到对应的文本向量，然后和图片向量做相似度比较。

这个机制在无人机场景里特别有用。你今天要识别“水体”，明天要识别“违章建筑”，后天要识别“森林烟雾”，每次任务的变化只是“换一行文本”，不需要换模型、不需要重标数据。我在后面第4章会展开讲UAV应用，但这里先记住一个结论：CLIP不是一个分类器，而是一个“把视觉和语言对齐”的基础组件，你给它什么描述，它就找什么样的图。

3. 实操笔记：让 CLIP 对无人机航拍图做零样本分类

3.1 最小可用代码：加载模型、输入图片和标签

论文读得再熟，也要跑起来才算数。我拿一个真实的无人机航拍场景来演示：识别遥感俯视图里的水体、道路、建筑、植被和车辆。

使用开源社区提供的CLIP实现，加载模型和预处理流程的代码非常短：

import torch import clip from PIL import Image device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) image = preprocess(Image.open("uav_frame.jpg")).unsqueeze(0).to(device) labels = [ "a photo of a water area", "a photo of a road", "a photo of a building", "a photo of green vegetation", "a photo of a car", ] text_tokens = clip.tokenize(labels).to(device) with torch.no_grad(): logits_per_image, _ = model(image, text_tokens) probs = logits_per_image.softmax(dim=-1).cpu().numpy()[0] for label, p in zip(labels, probs): print(f"{label}: {p:.4f}")

这里最关键的一行是model(image, text_tokens)，它会同时计算图片向量和文本向量，并把图片与每条文本之间的相似度乘以一个温度系数后输出logits，最后softmax得到概率。preprocess会把输入图片resize到模型要求的尺寸，比如224×224，同时做归一化。整个推理过程不需要训练、不需要微调，跑一次就能看到效果。

3.2 一个典型航拍任务：城市近郊地物识别

我用一张某城市近郊的正射航拍图做过测试，图片里有池塘、一条乡间公路、几栋民房、大片农田，还有一辆停在路边的白色小车。整图推理时，结果是这样的：

从结果看，水体、植被这种“大色块”目标很好认，因为它们的视觉特征在俯视视角下非常明显；而车辆只有几十个像素，整图直接推理时基本被背景淹没。后来我把大图切成512×512的瓦片，每个瓦片单独过模型，车辆这个类别的概率明显上升，说明CLIP对小目标的敏感度直接受输入图像分辨率影响。做UAV项目时，切片策略几乎是绕不开的预处理步骤。

3.3 Prompt 设计：同一个模型，不同文本写法能差十个点

CLIP的文本输入不是简单的类别名，它的效果高度依赖描述里的视觉信息量。我踩过最大的坑就是直接拿抽象业务词去推理，比如“water pollution”“illegal dumping”，结果概率全都非常低。原因是CLIP学的是“视觉描述”而不是“抽象概念”，词语越抽象，它对应的视觉特征越模糊。

提高精度有几个具体手段。第一，在类别词前面加上“a photo of”这类模板，比裸词效果好；第二，把抽象词改写成视觉上可辨认的描述，比如把“水污染”改成“dark colored water with foam and floating debris”，模型立刻就能抓住颜色、泡沫、漂浮物这些视觉特征；第三，做多模板集成，比如同一个类别同时用“a photo of {}”“a high resolution photo of {}”“a close-up photo of {}”几个模板各算一次，取特征平均或概率平均，通常能带来几个百分点的提升。

在真实项目里，我会维护一张“业务类别词 → 英文视觉短语”的映射表。比如“黑臭水体”就映射成dark polluted water with foam and debris near a drainage outlet，“违章建筑”映射成a temporary structure with blue roof on a vacant lot。这张表看起来只是文案工作，实际效果却常常比调整模型参数更明显。

3.4 温度系数与置信度阈值：别把模型逼成“强行分类”

CLIP输出的是相似度logits，softmax之后看起来像概率，但其实这个分布受温度系数影响很大。官方实现里已经带了一个训练学到的温度缩放，不过你在实际项目里可以再乘一个额外系数来调节分布的“陡峭程度”。温度调低，概率分布更极端，模型更“自信”；温度调高，概率分布更平滑，模型更“犹豫”。

我建议先跑一批图，把原始logits分布打印出来看一眼，再决定温度怎么调。还有一个更重要的工程习惯：不要强制模型把每张图都分到某个类别里。给模型一个阈值，比如最高概率低于0.5就判为“未知”，把这些低置信度样本放进“待人工复核”队列。对无人机巡检场景来说，很多任务要的是召回率而不是精确率，宁可多捞几张让复核人员快速浏览，也不能让模型把异常目标“自信地”归错类。

4. UAV 应用全景：CLIP 能切进无人机工作流的哪些环节

4.1 为什么无人机场景尤其吃这一套

UAV项目和普通图像分类项目有个天然差异：类别开放、场景多变、数据一次性。无人机飞一次，光照、角度、地域全变了；今天要查河道，明天要查电力线，后天要查违建；每一个新任务几乎都意味着新一批标注数据。传统做法里，每次任务变动都要重新训练或微调，周期长、成本高。

CLIP的打法完全绕开了这个循环。你只要在文本侧换一个描述，就相当于换了一个任务。比如同样一组航拍图，把文本从“photos of damaged solar panels”换成“photos of construction waste piled up on roadsides”，模型立刻从“光伏缺陷筛查模式”切到“建筑垃圾堆物筛查模式”。这种灵活性对做项目的人来说非常直观：改一行文本，比重新标一万张图快太多了。

4.2 主流垂直场景与 Prompt 示例

结合我观察到的行业落地情况，CLIP在UAV领域最有价值的几个方向可以整理成一张表：

这些场景有一个共同点：识别目标不是“常见物体”，而是高度垂直、高度动态的细分目标。传统数据集根本覆盖不到，CLIP却能靠语言描述临时生成一个分类器，这在以前是无法想象的工作流。

4.3 三种落地架构：云端粗筛、机载初检、蒸馏落地

CLIP模型本身并不轻，尤其ViT大模型在机载边缘设备上跑全量推理很不现实。我在项目里总结出三种比较可靠的落地架构。

第一种是“云端粗筛”，也是最好上手的方式。无人机飞完，把图片传到服务器，用CLIP对全图或者瓦片批量跑一遍，输出一张“疑似目标排序表”，人工复核只看排序靠前的图。这个方式不需要改任何在线设备，适合大多数巡检团队。

第二种是“机载初检”，适合需要实时返回结果的场景。思路是把CLIP的视觉编码器蒸馏成一个轻量小模型，或者只保留一个小尺寸视觉塔，在边缘设备上做二分类预筛。空中拍到可能的目标就触发图传，没有目标就不传。注意这是“筛选器”而不是“最终判决器”，精度能看、能降低带宽就行。

第三种是“离线伪标注”。用CLIP给大量无标注图生成初始标签，人工只修正低置信度部分，把修好的数据拿去训练轻量检测模型，最后部署的仍然是一个小模型。这种用法的好处是CLIP不参与在线推理，也就不受算力限制，非常适合工程落地。

4.4 与目标检测、分割模型的协同作战

CLIP的定位能力很弱，它只能告诉你“这张图像不像某类”，不能告诉你“目标在哪个坐标”。所以要让CLIP真正进入UAV业务流，普遍做法是和其他视觉模型组合使用。

一条很成熟的路线是“候选区域+CLIP二审”：先用一个通用目标检测器或者区域建议网络，把图上所有疑似目标的框都切出来，然后对每个框内的图像区域做CLIP零样本分类。比如巡线无人机先框出塔杆附近所有可疑物体，再用CLIP判断是风筝、塑料袋、鸟巢还是普通云朵。这样既弥补了CLIP不能给坐标的短板，又发挥出它能识别“未见过类别”的优势。

另一条路线是把CLIP的特征当作预训练表示来用。打开CLIP的图像编码器，把输出特征接到一个简单的线性分类头后面，冻结编码器只训练分类头。数据量不用很大，几百张有效样本往往就能得到一个稳定的应用模型。这比从ImageNet预训练权重出发再全量微调要省事得多。整体上，我的建议是：CLIP做筛子，检测器做尺子，分割网络做画笔，各管一段，别指望一个模型包打天下。

4.5 什么是UAV任务里CLIP明显搞不定的

看到这里你可能觉得CLIP是万能药，实际远不是。它给不了准确的计数结果，只能告诉你“图里有没有人”，不能告诉你“图里有几个人”；它对极小目标、密集重叠目标很吃力，一棵被遮挡一半的小树在CLIP眼里可能就是一团深绿色噪声；对于需要像素级判读的任务，比如精确量测树木冠幅，CLIP完全无能为力。

在这些场景里，我的建议是不要把CLIP当作判决工具，而是当作一个“召回助手”。先用它把最可能的图捞出来，再用专业模型和人工做精确定位和判断。这样各司其职，整体管道才是最稳的。

5. 踩坑实录：CLIP 用在无人机数据上的四个翻车点

5.1 坑一：“所有概率都很平均”，模型是不是废了

有一次我拿一组河湖航拍图做水体识别，五个类别的输出概率全部在0.2上下晃，水体该高的时候也不高。当时我的第一反应是模型加载出问题了，后来一步步排查才发现问题出在文本侧。

完整排查链路是这样的：先检查softmax有没有在多分类维度上写错，没发现问题；然后打印原始logits，发现数值都集中在4.0附近，分布太平滑；接着怀疑是温度参数问题，调整后分布稍微尖锐但仍不出彩；最后我试着把类别文本从“water”换成“a river or lake seen from above”，分数立刻拉开差距。问题的根源是类别词写得太抽象。CLIP要的是“视觉上可见的描述”，不是“逻辑上正确的名词”。

这次排查让我得到一个方法论：CLIP效果差的锅，大多不是模型的，而是文本写的。看到概率平均化，优先怀疑文本描述是否太抽象，再怀疑温度参数，最后才怀疑模型本身。

5.2 坑二：中文标签直接进模型，结果完全不可信

在某次巡河项目里，我图省事，直接把clip.tokenize(["河流", "道路", "建筑"])传了进去，结果分类结果乱得没法看。后来我想明白了一个关键事实：CLIP预训练数据的文本以英文为主，中文字符在它的词表里不一定有稳定语义位置。

解决方案是维护一张“业务类别中文词 → 英文视觉短语”的映射表。别让工程代码里直接出现中文标签，而是先做一轮文本映射。模型内部跑英文短语，前端页面再把结果翻译回中文。这个映射表不是一次翻译就完事，而是需要针对视觉特征反复调，比如“河流”不能简单映射成“river”，在航空俯视视角下，“a wide water channel between green fields”往往效果更好。这个不起眼的环节，恰好是整个项目稳定性的基础。

5.3 坑三：大图上目标太小，整图识别率暴跌

无人机拍出来的原图往往动辄几千万像素，而CLIP会把输入缩放到224×224。图里一辆汽车只占几十个像素，缩小之后基本就是几个灰点，模型自然识别不出来。我在早期项目里吃过这个亏，整图跑完所有类别概率都低得离谱。

解决办法是瓦片化推理：把大图切成512×512或640×640的小块，相邻瓦片之间留10%到20%的重叠防止目标被切开，每个瓦片单独过一遍CLIP，命中之后回到原图坐标做聚合。这样做了之后，小目标的召回率提升非常明显。但也不是切的越小越好，瓦片太小会丢掉上下文，道路被切成一截一截的反而更难识别，所以切片尺寸要根据目标尺寸适当调整。对分辨率和目标大小心里有数，是跑CLIP之前就要想清楚的预处理问题。

5.4 坑四：类别一多，易混淆目标互相“抢分”

做城市管理项目时，我同时识别“人、汽车、自行车、摩托车、三轮车”五个类别，结果自行车老被摩托车抢分。原因很简单：这些类别在向量空间里的距离很近，视觉特征高度重叠，而softmax强制让所有类别的概率加起来等于一，模型只能在它们之间“非此即彼”。

我最后的解法是分层识别。第一层先判别“有没有车”，第二层再在“汽车/摩托车/自行车/三轮车”里细分类。如果类别之间语义重叠严重，不要全部塞进一个prompt列表里；把易混淆的类别放到不同的二分类场景中去判断，比一股脑做多分类稳定很多。另外，给每个类别都加一个显式的负例描述也挺有用，比如识别自行车时，把“a motor vehicle with two wheels”也写进去，模型更容易理解边界。加一个“未知/其他杂物”兜底类别，也能避免低置信度样本被强行分进某个错误类。

6. CLIP 还不能解决什么：边界与替代路线

6.1 高精度定位和像素级分割，别指望 CLIP

CLIP输出的是图级或区域级的相似度，它只告诉你“像不像”，不告诉你“在哪里”。电力巡检需要精确定位绝缘子损坏点，环保监测需要圈出黑臭水体的边界，这些需求CLIP都做不到，必须靠检测器和分割网络完成。CLIP可以做的，是对检测器给出的候选区域做零样本识别，或者在语义层面辅助引导模型关注目标区域，但它永远替代不了检测和分割这两个环节。

6.2 数数、重叠、遮挡：CLIP 的弱项清单

凡是需要精确计数的任务，CLIP都很难直接使用。一个航拍画面里的人群数量、一个养殖场里的动物数量、一片果园里的果树数量，CLIP只能给出语义层面的响应，给不出稳定可靠的计数结果。密集树冠遮挡下的野生动物，在CLIP看来可能只是一团不规则的绿色纹理。这类问题需要专门的密度估计模型、超高分辨率切片，或者做候选框检测后再计数，CLIP不适合当主力。

6.3 我推荐的最高性价比用法：自动标注加小模型落地

千万不要只把CLIP用在“在线推理”这一个环节。我这两年做无人机数据项目最大的体会是，CLIP最值钱的地方其实在于数据生产力：用它给无标注数据批量打标签，人工只复核低置信度结果，两三天就能产出一套以前要标注几周的数据集。然后再用这套数据训练轻量检测器或分类器部署到无人机上，既享受到了CLIP泛化能力的红利，又避开了大模型部署的负担。

这种“CLIP离线打伪标签 + 小模型在线推理”的组合，是目前UAV团队最值得复制的落地路线。成本增加不多，模型迭代速度却快一个量级。

我这两年最大的感受是，不要把CLIP当成一个拿来争精度的分类器，它更像一个“懂一点视觉常识的外援”。你用一句描述告诉它要找什么，它帮你把最像的图挑出来。至于这个描述该怎么写、阈值定多高、结果要不要信，依旧是我们的活。先把这条“文本换任务”的路线走顺，再去追求更高程度的自动化，才不会在落地时摔跟头。