简介：这套基于CNN神经网络的多类型验证码识别项目，面向深度学习初学者、毕业设计及课程设计学生，解决验证码图像分类与端到端识别难题。资源包共50个文件，以Python源码（8个py）和训练/预测数据集（40个png）为主体，辅以README说明文档，压缩后仅592KB，结构紧凑便于部署。目前已有115人学习下载，适合快速复现实验。项目采用经典CNN架构，覆盖验证码生成、one-hot编码、模型训练、预测与测试全流程，纯数字识别率最高可达99.99%。代码含有详细注释，关键模块如captcha_setting、captcha_train、captcha_predict等划分清晰，新手可参照文档自行调参和扩展字母数字混合识别。作为导师认可的98分项目，可直接用于期末大作业、课程设计或毕业设计，下载后按说明配置环境即可运行，省去从零搭建的繁琐过程。
1. 验证码识别的本质：CNN 能读懂的字符，和 OCR 完全不同
把「Python + CNN 识别验证码」当成一个普通图像分类项目来做的，十有八九会翻车。验证码设计出来就是给人眼识别、给机器制造困难的，它和扫描件、截图里的文字识别完全是两回事——OCR 面对的是规整的排版和字体，验证码面对的是一堆扭曲、粘连、带干扰线的字符。CNN（卷积神经网络）之所以在这个场景里成为标配，是因为它不需要你手工设计特征，只需要喂足够的样本，它自己学出「哪些像素组合代表哪个字母」。这篇文章围绕一个拿到手就能改的 CNN 验证码识别项目展开，覆盖数据集怎么造、网络怎么搭、训练有哪些坑、以及怎么验证识别效果，适合做毕设、练手深度学习、或者想给自动化流程补一个验证码识别能力的开发者。下面所有代码基于 Python 3.8+ 和 PyTorch，数据集用脚本生成，全程不依赖任何外部验证码平台。
2. 为什么是 CNN：传统图像识别方案在验证码上的三个死穴
2.1 传统 OCR 在验证码上翻车的三个原因
在没有深度学习之前，验证码识别的主流方案是 Tesseract OCR 和模板匹配。Tesseract 的设计目标是印刷体、扫描文档，它依赖字符的笔画结构和语义上下文。验证码把字符旋转、缩放、加波浪背景，再叠上干扰线，Tesseract 的字符分割模块会直接把一个字母切成两半，或者把两个字母粘成一团。模板匹配更脆弱，它要求模板和待识别字符在尺寸、字体、角度上高度一致，真实验证码里字符变体太多，模板库根本覆盖不过来。
另一个关键问题是字符分割。传统方案必须先定位到每个字符的边界，再做单字符识别，两步串联，前一步的错误会直接传导到后一步。验证码的设计者恰恰在制造分割困难：字符之间相互粘连、字符和干扰线颜色相近、字符底部分布不均。这四个原因叠加起来，导致传统方案在稍微带点干扰的验证码上准确率跌到 50% 以下，基本不可用。
2.2 CNN 解决问题的路径：不分割、端到端、特征自学习
CNN 绕开了「先分割再识别」的两阶段思路。把整张验证码图片缩放到固定尺寸，直接输入网络，让卷积层自己学习字符的局部特征。卷积核在图像上滑动时，对位置的敏感度低于传统模板匹配，字符稍微平移、旋转几度，提取到的特征仍然相似，这就是所谓平移不变性。对验证码来说，字符位置的微小变化不再致命。
网络的前几层卷积学的是边缘、纹理这类低级特征，后几层把局部特征组合成更高层的语义，最终的全连接层负责把特征映射到「是哪个字符」的类别上。整个过程从原始像素到最终标签只有一条通路，不存在分割错误传导的问题。这就是为什么 CNN 能对付字符粘连和干扰线，而传统方案不能。更实际的一点是，CNN 方案不需要你理解图像处理的细节，不需要设计滤波器和特征描述子，把样本准备好，网络自己会做特征工程。
2.3 为什么是 PyTorch 而不是 TensorFlow
这个项目用 PyTorch 实现，原因有三个：代码量少、调试直观、社区样例多。定义一个卷积网络只需要继承nn.Module写forward，训练循环也是普通的 Python 循环，可以在任意位置插入打印和断点。对于验证码这种输入输出都比较简单的任务，PyTorch 比 TensorFlow 少一层抽象，对新手友好得多。TensorFlow 的tf.keras也能做，但切换到 PyTorch 的学习成本和排错成本更低，这是做同类项目时非常实在的选型理由。
3. 数据准备：验证码识别项目的胜负手在于训练集而不在于网络
3.1 为什么用脚本生成验证码而非采集真实数据
验证码识别项目里，模型结构反而是最不重要的部分，真正决定最终效果的是训练集。真实验证码样本难以大量获取，标注成本高，而且涉及合规问题。常见做法是用开源的 captcha 库按需生成样本，把字符集、位数、干扰线、背景噪点做成可配置项。这样做的直接好处是标签完全自动生成，文件名就是图片内容，根本不需要人工标注，几万张样本十几分钟就能生成完。
生成的样本还能按需控制难度。一开始只生成无干扰的纯字符图，模型跑通后再逐步加干扰线、加背景噪声、加字符扭曲。这种从易到难的训练策略，比一上来就扔给模型一个高难度数据集更容易收敛，也方便定位问题到底出在模型还是出在数据。
3.2 生成并标注验证码数据集：完整脚本
安装依赖：
pip install captcha Pillow下面是生成脚本，按字符集、长度和干扰强度生成批量样本，文件名同时是标签。
import os import random import string from captcha.image import ImageCaptcha # 字符集：去掉容易混淆的 0/O、1/I/L chars = string.ascii_uppercase + string.digits chars = chars.replace('O', '').replace('I', '').replace('L', '') width, height = 160, 60 num_samples = 20000 save_dir = './captcha_data' os.makedirs(save_dir, exist_ok=True) for i in range(num_samples): label = ''.join(random.choices(chars, k=4)) generator = ImageCaptcha(width=width, height=height) # 控制干扰线和噪点的数量，模拟不同难度 generator._generate_ noises = lambda: None # 先不加噪点 image = generator.generate_image(label) image = image.convert('RGB') image.save(os.path.join(save_dir, f'{label}_{i:05d}.png'))这段代码里，字符集剔除了三个易混淆字符，这是数据层面降低难度的常用手段。ImageCaptcha默认带干扰线，生成的图片尺寸统一是 160×60 RGB。文件名格式是「标签_序号.png」，训练时通过解析文件名拿到标签，天然对齐，不需要单独维护标注文件。先运行一遍生成少量样本，肉眼确认图片清晰度，再批量生成全量数据。
3.3 数据集划分：训练集 / 验证集 / 测试集的比例与组织方式
深度学习项目普遍按 8:1:1 划分数据，验证码项目也按这个比例来。20000 张样本里，16000 张训练、2000 张验证、2000 张测试。测试集必须从训练流程中完全隔离，只在最后评估时用一次。不建议用random_split直接切分整个数据集目录，因为生成脚本的循环里图片已经按顺序混在一起，相邻文件没有相关性，直接按比例切目录也可以。但有一点要注意：如果后续你在不同时间生成了多批数据，合并目录后必须先 shuffle 再划分，否则模型可能只见过前一批数据的风格。
4. 搭建 CNN 模型：PyTorch 卷积网络结构、训练循环与推理代码
4.1 网络结构：几层卷积、几个全连接才够用
验证码是 160×60 的彩色图，字符只有 4 个，字符集 33 个字符（26 个大写字母去掉 3 个加 10 个数字），总共 33^4 ≈ 118 万种组合，但这个任务对网络容量的需求其实不高。常见的做法是三层卷积加两层全连接，特征图从 3 通道逐步扩展到 128 通道。不需要上 ResNet 这种深层结构，验证码字符的特征相对简单，太深的网络反而容易过拟合。如果你遇到字符更长、干扰更重的验证码，可以加一层卷积，但先从小网络开始调参，这是更稳妥的路径。
下面是一份可以直接跑通的模型定义：
import torch import torch.nn as nn class CaptchaCNN(nn.Module): def __init__(self, num_chars=4, num_classes=33): super().__init__() self.features = nn.Sequential( nn.Conv2d(3, 32, kernel_size=3, padding=1), nn.BatchNorm2d(32), nn.ReLU(inplace=True), nn.MaxPool2d(2), # 160x60 -> 80x30 nn.Conv2d(32, 64, kernel_size=3, padding=1), nn.BatchNorm2d(64), nn.ReLU(inplace=True), nn.MaxPool2d(2), # 80x30 -> 40x15 nn.Conv2d(64, 128, kernel_size=3, padding=1), nn.BatchNorm2d(128), nn.ReLU(inplace=True), nn.MaxPool2d(2), # 40x15 -> 20x7 ) # 20x7 是最后一次池化后的特征图尺寸，由输入尺寸推算 self.classifier = nn.Sequential( nn.Linear(128 * 20 * 7, 512), nn.ReLU(inplace=True), nn.Dropout(0.5), nn.Linear(512, num_chars * num_classes), ) def forward(self, x): x = self.features(x) x = x.view(x.size(0), -1) x = self.classifier(x) return x.view(x.size(0), 4, 33)关键点是最后一层全连接输出4 * 33 = 132个值，再 reshape 成(batch, 4, 33)，表示每个字符位置上的 33 个类别概率。这样设计是因为验证码是定长 4 位，四个位置共享同一个特征提取器，但各自独立分类，比训练四个单独模型更高效。BatchNorm2d放在卷积和激活函数之间，能加速收敛；Dropout放在全连接层，防止小数据集上过拟合。
4.2 训练脚本：损失函数、优化器与关键参数
定长验证码识别是一个典型的多标签分类问题，但每个位置上的字符是互斥的，所以损失函数用交叉熵即可。PyTorch 的CrossEntropyLoss要求输入形状是(batch, num_classes)，输出形状是(batch)，因此训练循环里要把模型的输出拆成四个位置分别算损失再取平均。
import torch.optim as optim from torch.utils.data import DataLoader, Dataset from PIL import Image import os class CaptchaDataset(Dataset): def __init__(self, root_dir): self.paths = [os.path.join(root_dir, f) for f in os.listdir(root_dir)] self.chars = "23456789ABCDEFGHJKMNPQRSTUVWXYZ" # 与生成时保持一致 def __len__(self): return len(self.paths) def __getitem__(self, idx): path = self.paths[idx] label = os.path.basename(path).split('_')[0] img = Image.open(path).convert('RGB').resize((160, 60)) img = torch.tensor(np.array(img), dtype=torch.float32) / 255.0 img = img.permute(2, 0, 1) # HWC -> CHW label_idx = [self.chars.index(c) for c in label] return img, torch.tensor(label_idx) train_loader = DataLoader(CaptchaDataset('./captcha_data'), batch_size=64, shuffle=True) model = CaptchaCNN() optimizer = optim.Adam(model.parameters(), lr=1e-3) criterion = nn.CrossEntropyLoss() for epoch in range(30): for batch_idx, (images, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(images) # (batch, 4, 33) loss = 0.0 for pos in range(4): loss += criterion(outputs[:, pos, :], labels[:, pos]) loss /= 4 loss.backward() optimizer.step() print(f'epoch {epoch}: loss = {loss.item():.4f}')这个训练循环里，batch_size=64在普通 GPU 上不会有显存压力，没有 GPU 用 CPU 也能跑，只是慢一些。学习率选 1e-3 是 Adam 优化的常用起点，如果 loss 震荡不下降，降到 1e-4 再试。每个 epoch 结束时打印 loss，重点观察 loss 是否持续下降，如果某个 epoch 后 loss 不再降，考虑降低学习率或者增加数据量。
4.3 单张图片推理：从加载模型到输出识别结果
训练完的模型要保存权重，推理时单独写一个脚本加载模型，对单张图片做和训练时完全相同的预处理，然后取每个位置概率最大的字符作为预测结果。
import numpy as np import torch from PIL import Image model = CaptchaCNN() model.load_state_dict(torch.load('captcha_model.pth', map_location='cpu')) model.eval() chars = "23456789ABCDEFGHJKMNPQRSTUVWXYZ" def predict(image_path): img = Image.open(image_path).convert('RGB').resize((160, 60)) img = torch.tensor(np.array(img), dtype=torch.float32) / 255.0 img = img.permute(2, 0, 1).unsqueeze(0) with torch.no_grad(): output = model(img) # (1, 4, 33) pred = output.argmax(dim=2)[0] return ''.join(chars[i] for i in pred.tolist()) print(predict('./captcha_data/A2B3_00001.png'))推理代码有两处必须和训练保持完全一致：图片尺寸必须是 160×60，归一化方式必须是除以 255。不一致会导致识别效果明显变差。model.eval()这行不能省，它关闭 Dropout 和 BatchNorm 的训练行为，否则同一张图每次预测结果都可能不同。
5. 验证码识别避坑手册：5 个最容易翻车的地方
5.1 训练 loss 下降但验证准确率上不去
模型的 loss 在训练集上一路走低，但在测试集上准确率停滞在某个低水平，这是典型的过拟合信号。验证码数据集用脚本生成，样本之间差异其实不大，模型很容易记住训练集的干扰线分布。解决路径有两步：第一步给ImageCaptcha的生成过程加入随机背景颜色、随机干扰线数量和宽度，扩大样本分布；第二步在模型里加大Dropout的比例到 0.5 以上，或者加一层数据增强（随机旋转小角度、随机亮度变化）。
5.2 训练集里个别字符准确率特别低
如果混淆矩阵显示某个字符频繁被识别成另一个，比如 G 被认成 C，J 被认成 U，先检查字符集定义是否一致。生成数据时代码里写的是string.ascii_uppercase + string.digits，训练时字符集却是手写的字符串，顺序和内容只要差一个字符，标签就全错位了。这个错误在训练时 loss 表现几乎正常，因为标签错位是全局性的，只有到验证阶段才会暴露。正确做法是把字符集定义放在一个模块里，生成脚本和训练脚本都引用它，避免手抄两遍。
5.3 图片尺寸不统一导致维数不匹配
有些验证码来源是真实网站截屏，尺寸各不相同，直接输入网络会报维度错误或者静默出错。一个常见做法是按长边缩放，然后填充到固定尺寸；更好的做法是直接 resize 到 160×60。但要注意，resize 会拉伸字符比例，对细长字体影响较大。如果你的场景里字符被拉伸后识别效果变差，可以改成按宽高比填充灰色边框，保持原始比例不变，再输入网络。
5.4 GPU 上训练正常，CPU 推理时结果不稳定
这是 BatchNorm 层的经典坑。训练时 BatchNorm 使用当前 batch 的均值和方差做归一化，推理时使用训练阶段累积的全局统计量。如果你保存权重之前没有调用model.eval()，保存的 BatchNorm 状态可能是训练中间态，加载到 CPU 推理时结果就会偏差。解决方法是训练结束后先model.eval()，再保存权重，推理脚本里也要先eval()再加载。
5.5 模型推理速度太慢，单张图片要几十毫秒
验证码识别的部署场景往往对速度敏感。如果觉得 CNN 前向推理太慢，先用torch.jit.script把模型转成 TorchScript，推理速度能提升不少。再不够，可以把图片从 160×60 降到 120×45，精度损失可能很小，但计算量显著下降。一般不建议为验证码任务上目标检测类模型，那类模型单张推理要几百毫秒起步，大材小用。
6. 从定长到泛化：验证识别效果的三个进阶手段
6.1 用逐字符准确率而不是整串准确率评估模型
很多人训练完只看「整串验证码正确率」，即 4 个字符全对才算对。这个指标偏严格，模型单个字符准确率 95% 时，整串准确率大约是 0.95^4 ≈ 81%，实际体验会差很多。更好的做法是额外统计每个位置的预测正确率，找出明显的弱项位置，再针对性调整网络最后一层的权重分配。如果四个位置的准确率差异较大，通常不是模型问题，而是数据分布问题——某个位置的字符因为图像切割或干扰线遮挡更严重。
6.2 用混淆矩阵定位易混淆字符对
在测试集上跑一遍预测，统计每个真实字符对应的预测分布，把最常见的错误对打印出来。6 和 8、2 和 Z、5 和 S 这类形状相近的字符最常出现。如果业务允许，直接把这些字符从字符集里剔除是成本最低的优化手段，准确率能立刻上升一截。如果业务不允许剔除，就针对易混淆对增加训练样本数量，让每个字符的样本量均衡，避免模型偏向高频字符。
6.3 从定长走向不定长：CTC 损失的方向
这个项目目前只处理固定 4 位验证码。如果遇到位数不固定的验证码，常见做法有两种：一种是先检测字符位置再逐个识别，另一种是用 CTC 损失让网络直接输出变长序列。CTC 的思路是让网络对每个时间步输出一个字符分布，包括一个特殊的空白字符，再通过动态规划对齐到最终标签。改动量不大：把最后一层全连接改成一维卷积加 RNN 或 Transformer，损失函数换成torch.nn.CTCLoss，模型就能处理 3 到 6 位不等的验证码。不过 CTC 对字符间距和背景噪声更敏感，训练难度比定长任务高不少，做之前先确认你的目标验证码是否为变长。
回到最开始的判断：验证码识别项目的模型结构真的只是其中一环，数据生成的质量、字符集的定义、训练与推理预处理的一致性，才是决定项目能不能落地的核心。我在做这类项目时吃过一次亏，数据集生成脚本和训练脚本里的字符集手抄了两遍，漏了一个字符，模型在训练集上表现完美，到测试集立刻原形毕露。后来把所有共享配置抽到一个模块里，类似问题再没出现过。这个习惯建议你保留，它省下来的调试时间远比写配置文件的时间多。希望帮到你。
本文还有配套的精品资源，点击获取
