简介：这份资源面向深度学习与计算机视觉方向的开发者，聚焦中文文字点选、选字及选择文字验证码的检测与识别任务，适合具备一定PyTorch基础、希望深入OCR实战的读者。包内共33个文件，以20个Python脚本为核心，涵盖模型定义、训练与推理流程，另含3个ONNX模型文件、若干png/jpg/gif示例图及txt字符集与说明文档，压缩包约146.78MB，目录按service、model、src、utils等模块划分，结构清晰。项目围绕文字检测与识别两条主线展开，涉及YOLO检测、CRNN识别、CTC序列标注、中文字符集处理、数据预处理与模型评估等关键环节，并附有demo与接口服务脚本，便于快速验证效果。目前已有2492人学习下载，可作为中文验证码识别与OCR落地的实用参考案例。
1. 文字点选验证码识别：从PyTorch检测到中文识别的完整落地路径
文字点选验证码是当前中文互联网上最常见的人机校验形式之一：给出一张包含若干汉字的背景图，要求按提示顺序点击对应文字。和传统的字符型验证码不同，它把检测和识别揉在了一起——你得先找到字在哪，再认出来是什么字，最后按顺序输出坐标。这条链路用PyTorch实现，核心就是目标检测加中文识别两个模块的串联。很多做自动化的朋友卡在两点：一是中文类别太多，分类头动辄几千维，训练容易崩；二是点选顺序和坐标映射容易搞错，模型输出对了但点击位置偏了。这篇笔记按我实际做过的方案，从数据构造、检测模型选型、识别头设计到坐标后处理，把每一步的参数和踩坑都写清楚，适合有PyTorch基础、想把这套流程跑通的工程师。
2. 数据构造与检测模型选型：中文点选验证码的第一道坎
2.1 为什么不能直接套用通用OCR方案
通用OCR方案（比如CRNN加CTC）是为横向文本行设计的，它假设字符之间有稳定的间距和阅读顺序。文字点选验证码恰恰相反：字符随机散布在画布上，可能旋转、可能重叠、可能带干扰线，而且没有阅读顺序——顺序由提示语决定。你拿CRNN去跑，它会把整张图当成一行文本，输出一串字符，但你根本不知道每个字符对应哪个坐标。所以检测和识别必须解耦：检测负责定位每个字符的边界框，识别负责判断框里是什么字，最后按提示语顺序匹配坐标。
常见做法是走两阶段：第一阶段用轻量检测网络（比如YOLOv5n或PicoDet）出字符框，第二阶段用一个小型CNN分类头识别框内汉字。也有端到端方案（比如DBNet加注意力识别），但调试成本高，新手不建议一上来就搞。
2.2 数据标注格式与生成脚本
文字点选验证码的公开数据集很少，大部分情况得自己造。我一般用两种方式：一是爬取目标网站的验证码接口，人工标注；二是用字体渲染加随机背景合成。合成的好处是标签自动生成，坏处是域差距大，真实场景还得微调。
标注格式统一成YOLO格式：每张图一个txt，每行class_id x_center y_center width height，归一化到0到1。中文类别用字符的Unicode编码做映射，比如“你”对应一个整数ID。下面是一个合成数据的脚本骨架：
import os import random from PIL import Image, ImageDraw, ImageFont import numpy as np # 参数说明： # font_paths: 字体文件列表，建议准备5到10种不同字体增加多样性 # char_pool: 候选汉字池，一般从常用字表取500到2000个 # img_size: 输出画布尺寸，点选验证码常见300x300或320x320 # num_chars: 每张图字符数，通常3到6个 def synth_one(font_paths, char_pool, img_size=(320, 320), num_chars=4): bg = Image.new('RGB', img_size, (255, 255, 255)) draw = ImageDraw.Draw(bg) # 随机背景噪点，模拟干扰 for _ in range(random.randint(50, 150)): x, y = random.randint(0, img_size[0]), random.randint(0, img_size[1]) draw.point((x, y), fill=(random.randint(0,200),)*3) labels = [] chars = random.sample(char_pool, num_chars) for ch in chars: font = ImageFont.truetype(random.choice(font_paths), random.randint(28, 42)) # 随机位置，留出边距避免字符被裁 x = random.randint(10, img_size[0]-60) y = random.randint(10, img_size[1]-60) draw.text((x, y), ch, font=font, fill=(random.randint(0,100),)*3) # 计算归一化框，这里简化用固定宽高，实际应按字体bbox w, h = 48, 48 labels.append((ch, (x+w/2)/img_size[0], (y+h/2)/img_size[1], w/img_size[0], h/img_size[1])) return bg, labels逻辑说明：这个脚本只做最小可用版本，真实项目里要加旋转、透视变换、字符重叠、背景纹理。参数上，num_chars建议和目标任务一致，比如目标网站固定4个字就设4；img_size要和推理时一致，否则检测框会错位。字符框的宽高最好用font.getbbox精确计算，我这里写死48是为了演示，实际会引入标注噪声。
2.3 检测模型选型：YOLOv5n还是PicoDet
在点选验证码场景，检测目标是小字符，通常几十像素。YOLOv5n在320输入下对小于32像素的目标召回一般，PicoDet的ShuffleNet backbone对小目标更友好，但PyTorch生态里YOLOv5的教程和预训练权重更全。我的建议：先用YOLOv5n跑通，如果召回低于0.9再换PicoDet或加高分辨率特征层。
训练命令（以YOLOv5为例）：
python train.py --img 320 --batch 32 --epochs 100 \ --data captcha.yaml --weights yolov5n.pt --cfg yolov5n.yaml参数说明：--img 320要和合成数据一致；--batch 32在8G显存下够用，显存小就降到16；--epochs 100通常够收敛，看mAP曲线早停。captcha.yaml里写训练集和验证集路径，类别数设成你的汉字池大小加1（背景类）。注意YOLO默认类别是整数，你需要维护一个char2id的json，推理时反查。
3. 中文识别头设计与训练：几千类分类怎么不崩
3.1 识别头的结构选择
检测框出来之后，把每个框裁剪成固定尺寸（比如32x32或48x48），送进分类网络。汉字类别动辄几千，直接接全连接层参数量爆炸，而且容易过拟合。常见做法有三种：一是用轻量CNN（比如MobileNetV3 small）加一个大的全连接，配合标签平滑；二是用ArcFace加margin，让类间距离拉大；三是用字符嵌入加最近邻，但推理慢。
我一般用MobileNetV3 small加ArcFace头，输入48x48，输出维度等于汉字池大小。ArcFace的margin设0.3到0.5，scale设30左右。训练时用AdamW，学习率1e-3，余弦退火。
import torch import torch.nn as nn from torchvision.models import mobilenet_v3_small class CharClassifier(nn.Module): def __init__(self, num_classes, emb_dim=256): super().__init__() backbone = mobilenet_v3_small(pretrained=True) # 去掉原分类头，取特征层 self.features = backbone.features self.pool = nn.AdaptiveAvgPool2d(1) self.emb = nn.Linear(576, emb_dim) # ArcFace的权重，实际训练时用margin softmax self.weight = nn.Parameter(torch.randn(num_classes, emb_dim)) self.num_classes = num_classes def forward(self, x): x = self.features(x) x = self.pool(x).flatten(1) emb = self.emb(x) # 推理时返回归一化嵌入，训练时配合ArcFace loss return nn.functional.normalize(emb, dim=1)逻辑说明：这里只写了嵌入提取，ArcFace的loss需要单独实现，核心是cos(theta + m)的margin。参数上，emb_dim设256够用，太大推理慢；num_classes就是你的汉字池大小，建议控制在3000以内，超过的话考虑分层或字符组件方案。
3.2 训练时的类别不平衡与难例挖掘
汉字使用频率差异极大，“的”“一”这类字出现次数远高于生僻字。如果直接按合成数据训练，模型会对高频字过拟合。我的做法是：合成时按字频加权采样，高频字降采样，低频字过采样；训练时用focal loss或带类别权重的交叉熵。另外，检测框裁剪可能有偏移，训练识别头时加随机平移和缩放做增强，模拟检测误差。
一个实用的技巧：先用合成数据预训练识别头，再用真实标注的少量数据微调。真实数据哪怕只有几百张，也能把准确率拉高十几个点。
3.3 检测与识别的联合推理流程
推理时，先跑检测得到N个框，每个框裁剪后送识别头，得到每个框的字符和置信度。然后按提示语顺序，对每个提示字符找置信度最高的框，输出其中心坐标。这里有个坑：如果两个框识别成同一个字，需要按置信度或位置去重。
def match_chars(det_boxes, det_scores, rec_chars, rec_probs, target_chars): # det_boxes: list of (x1,y1,x2,y2) # rec_chars: list of str, 每个框的识别结果 # target_chars: 提示语字符列表，如 ['你','好','中','国'] result = [] used = set() for tc in target_chars: best_idx, best_prob = -1, 0 for i, (ch, prob) in enumerate(zip(rec_chars, rec_probs)): if i in used or ch != tc: continue if prob > best_prob: best_prob, best_idx = prob, i if best_idx >= 0: used.add(best_idx) x1, y1, x2, y2 = det_boxes[best_idx] result.append(((x1+x2)/2, (y1+y2)/2)) else: result.append(None) # 未匹配到 return result逻辑说明：这个匹配函数按提示语顺序逐个找最佳框，used集合防止同一个框被重复使用。参数上，rec_probs是识别置信度，如果低于阈值（比如0.5）建议视为未识别，避免误点。返回的坐标是框中心，实际点击时可能还要按页面缩放比例换算。
4. 避坑与排查：文字点选验证码训练中最容易翻车的5个点
4.1 检测框召回高但识别全错
现象：mAP到0.95，但识别准确率不到30%。原因：裁剪时没有按框的宽高比缩放，直接把矩形拉成正方形，字符变形严重。解决：裁剪时保持宽高比，短边补灰边，再resize到48x48。或者用ROI Align从特征图直接抠，避免像素级变形。
4.2 合成数据训练好，真实场景一塌糊涂
现象：合成验证集准确率99%，真实网站不到50%。原因：域差距，合成背景太干净、字体太规整。解决：加真实背景纹理、随机模糊、JPEG压缩噪声；用真实数据微调检测和识别；或者用风格迁移把合成图往真实域靠。
4.3 类别数设错导致loss不下降
现象：训练loss一直在高位震荡。原因：num_classes和char2id映射不一致，比如汉字池有2000个字，但yaml里写了1999。解决：写个脚本校验标注文件里的最大类别ID加1是否等于配置的类别数，训练前打印确认。
4.4 坐标映射偏了半个字
现象：模型输出坐标对了，但点击总是偏。原因：验证码图片在网页上被CSS缩放，模型输入尺寸和实际渲染尺寸不一致。解决：推理时记录原图尺寸，输出坐标按原图宽/模型输入宽的比例还原，再映射到页面坐标。用浏览器自动化时，注意设备像素比。
4.5 推理速度慢，单张超过500ms
现象：检测加识别串行跑，GPU利用率低。原因：识别头对每个框单独前向，框多了就慢。解决：把N个框裁剪后拼成一个batch一次前向；检测用TensorRT或ONNX Runtime加速；输入分辨率从320降到256，精度掉一点但速度翻倍。
5. 进阶技巧：用ONNX导出与量化把点选识别压到50ms内
训练完之后，部署才是真正见真章的地方。PyTorch模型直接上生产，推理延迟往往在200ms以上，批量点选场景扛不住。我一般走ONNX导出加INT8量化这条路，实测能把检测加识别压到50ms以内（单张320输入，RTX 3060）。
导出检测模型：
import torch model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt') model.eval() dummy = torch.randn(1, 3, 320, 320) torch.onnx.export(model, dummy, 'det.onnx', opset_version=11, input_names=['images'], output_names=['output'], dynamic_axes={'images': {0: 'batch'}})参数说明：opset_version=11兼容性好，别用太新的；dynamic_axes让batch可变，方便拼batch推理。导出后可以用onnxruntime的quantize_dynamic做动态量化，或者用onnxruntime.quantization做静态量化，后者需要校准集，精度更稳。
识别头导出类似，注意ArcFace的权重在推理时只用到嵌入，导出前把分类头去掉，只保留backbone加emb层。量化时对卷积层做INT8，全连接层保持FP16，精度损失一般在1%以内。
验证方法：准备100张真实验证码，对比PyTorch和ONNX的输出，检测框IoU大于0.9、识别字符一致率大于98%就算过关。如果掉点严重，检查量化校准集是否覆盖了所有字体和背景类型。
最后说个血泪教训：别在训练阶段就想着量化，先把FP32模型调到满意，再量化。我见过太多人一边训一边量化，最后不知道是模型没训好还是量化掉了精度，排查起来就是黑匣子。另外，点选验证码的提示语顺序一定要在匹配阶段严格按序，别用集合去重，否则顺序错了整个点击就废了。希望帮到你。
本文还有配套的精品资源，点击获取
