不训练、不标数据：用 SigLIP-SO400M 零样本图像分类给商品图自动打标签

不训练、不标数据：用 SigLIP-SO400M 零样本图像分类给商品图自动打标签

【免费下载链接】siglip-so400m-patch14-384项目地址: https://ai.gitcode.com/hf_mirrors/google/siglip-so400m-patch14-384

手头有一批图，却连一个能用的分类模型都没有？标数据、训模型太贵太慢。SigLIP-SO400M 是 Google 开源的视觉-语言模型，主打零样本图像分类——不用训练，给它几张图、几个候选类别的英文短语，它直接猜出最匹配的类别。本文按最短路径走一遍：装依赖、加载模型、出第一个结果，最后给你三个能直接落地的用法。

先认识它：30 秒版参数表

它的结构是"双编码器"：一个图像编码器、一个文本编码器各自独立工作，训练时靠对比学习让"图和对应描述"的特征靠近。你不用管这套机制，只需要知道它的几个硬指标：

另外两个来自 config 的细节：图像输入按 384×384 处理，每张图先切成 14×14 的小块（patch）再进编码器，所以仓库 ID 里才叫 patch14-384。

五分钟第一次跑通

分三步：装包 → 加载 → 推理。

第 1 步：装依赖。SigLIP-SO400M 安装只需一个 pip 命令，核心依赖是transformers、torch、torchvision、pillow：

pip install transformers torch torchvision pillow

第 2 步：加载模型和处理器。仓库 ID 是google/siglip-so400m-patch14-384，AutoModel负责加载权重，AutoProcessor负责把图片和文本变成模型能吃的张量。

第 3 步：跑一次推理：

from transformers import AutoModel, AutoProcessor from PIL import Image model = AutoModel.from_pretrained("google/siglip-so400m-patch14-384") processor = AutoProcessor.from_pretrained("google/siglip-so400m-patch14-384") image = Image.open("photo.jpg") inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, padding="max_length", return_tensors="pt") logits = model(**inputs).logits_per_image

logits_per_image里每个分数对应一个候选类别，套一层 sigmoid 就是置信度，谁大谁就是模型的判断。恭喜，第一次零样本分类跑通了。

三个能落地的用法

电商商品自动分类。把候选类别写成["clothing", "electronics", "books", "furniture"]，每张图过一遍模型，取分数最高的类别入库，省掉人工打标环节。

内容安全审核。给一组安全类标签（如safe content、violence、nudity），当敏感项分数越过阈值（比如 0.5）就拦截该图，作为人工审核前的第一道机器过滤。

批量打标签。图多时别一张张跑：把路径列表按每 8 张一批切开，循环调用上面的推理流程即可，思路一句话——切片、循环、汇总，不必自己写优化代码。

更快、更省内存：五条要点

• 有 CUDA 就把 model 和输入都.to("cuda")，推理速度数量级差异就在这里。
• 显存够的话用torch_dtype=torch.float16加载，显存占用直接减半。
• 批大小按需调：先 8，OOM 了就减半，别再盲目往上加。
• 长任务里偶尔torch.cuda.empty_cache()，把碎片显存还回去。
• 纯推理场景不用开梯度检查点，那是训练时的省显存手段，别用错地方。

踩坑自查表

提示：加载失败时先看报错是网络还是版本问题，transformers过老也可能读不了这个模型结构，升级到新版再试。

下一步：把photo.jpg换成你自己的图片目录，先跑 20 张看分数分布，再决定阈值怎么设。

【免费下载链接】siglip-so400m-patch14-384项目地址: https://ai.gitcode.com/hf_mirrors/google/siglip-so400m-patch14-384