5位数字验证码识别：多标签分类与OneHot+CNN实战

简介：本资源是一套完整的5位数字验证码识别实战项目，面向计算机相关专业在校学生、教师及初级AI开发者，聚焦深度学习基础应用——利用One-Hot编码与CNN网络实现端到端验证码识别任务。项目包含可直接运行的Python源码、2000张真实风格验证码图像（JPG格式）、对应标签XML文件、训练/测试脚本、数据预处理与模型评估模块，以及详尽中文注释与README说明文档，覆盖数据生成、标签编码、网络构建、训练调优到结果可视化全流程。压缩包共2000个文件，主体为1980张JPG样本图、6个核心Py脚本、8个XML标注文件及辅助文本与配置文件，总大小43.25MB，结构清晰、模块解耦，便于理解CNN在图像序列识别中的典型用法。目前已有184人学习下载，适合作为毕业设计、课程设计或深度学习入门实践项目，亦可快速拓展至其他字符识别场景。

1. 5位数字验证码识别不是OCR任务，而是多标签分类问题——用OneHot+CNN比直接端到端回归更稳定、更易调试

你可能试过用OpenCV加Tesseract去“读”验证码，结果发现：字符粘连、背景干扰、字体扭曲时，识别率掉到30%以下；或者用YOLOv5做字符检测+CRNN识别，模型体积大、训练慢、显存吃紧。但这个项目反其道而行之——它把5位数字验证码当作5个独立的单字符分类任务来处理，每个位置输出0~9共10类，用OneHot编码构建标签，再用轻量CNN并行预测每一位。这不是偷懒，而是工程上更可控的选择：训练收敛快（通常20轮内acc>98%），推理延迟低（单图<15ms），且能精准定位错在哪一位（比如第3位总出错，说明该位置字符形变最严重）。适合计算机、人工智能、信息安全等专业学生做毕设或课程设计——代码结构清晰、注释详尽、数据集已预处理好，不需要自己爬图、打标、清洗，开箱即训。它不追求泛化到任意验证码（如中文、字母混合），而是聚焦在结构规整、数字固定5位、无旋转/透视畸变的典型业务场景，比如老系统登录页、内部管理平台校验码。

2. OneHot编码与CNN输入对齐：为什么必须将5位标签拆成5个独立向量，而非拼接成50维长向量

2.1 验证码标签的本质是5个并行单分类任务，不是1个50类多分类任务

很多初学者误以为“5位数字”就该用50维OneHot（00000→索引0，00001→索引1…99999→索引99999），这会导致两个致命问题：一是类别数爆炸（10⁵=100,000类），训练需极大样本量和显存；二是模型无法利用“各位独立”的先验知识——第1位是0和第2位是0在语义上完全无关，强行映射到单一高维空间会破坏特征解耦。本项目采用位置感知式标签设计：将原始标签"27491"转为5个长度为10的OneHot向量，构成形状为(5, 10)的标签张量。Keras中用tf.keras.utils.to_categorical逐位转换，代码如下：

import numpy as np from tensorflow.keras.utils import to_categorical def label_to_onehot(label_str): """将5位字符串标签转为(5,10)形状的OneHot数组""" onehot_list = [] for char in label_str: digit = int(char) onehot_vec = to_categorical(digit, num_classes=10) # shape: (10,) onehot_list.append(onehot_vec) return np.array(onehot_list) # shape: (5, 10) # 示例 label = "27491" target = label_to_onehot(label) print(target.shape) # (5, 10) print(target[0]) # 第1位的OneHot: [0. 0. 1. 0. 0. 0. 0. 0. 0. 0.]

注意：to_categorical默认返回float32类型，且索引从0开始，int('2')=2对应onehot中第2位（索引2）为1，符合直觉。若数据集中存在非数字字符（如空格、'X'），需提前清洗，否则int()会报错。

2.2 CNN输入层必须匹配图像尺寸，且需明确通道数——灰度图用1通道，RGB图用3通道

项目提供的样本图（如wmpmp.jpg）实为灰度图，但文件扩展名是.jpg，易被误读为RGB。实际加载时若用cv2.imread()默认读取三通道，会引入冗余信息并增加计算量。正确做法是强制读取灰度模式，并归一化到[0,1]区间：

import cv2 import numpy as np def load_and_preprocess_image(img_path, target_size=(60, 160)): """加载灰度图，缩放至目标尺寸，归一化，增加batch维度""" img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) # 强制灰度，shape: (H, W) if img is None: raise FileNotFoundError(f"Image not found: {img_path}") img = cv2.resize(img, target_size[::-1]) # cv2.resize要求(w,h)，所以反转 img = img.astype(np.float32) / 255.0 # 归一化到[0,1] img = np.expand_dims(img, axis=-1) # 增加通道维，shape: (60, 160, 1) return np.expand_dims(img, axis=0) # 增加batch维，shape: (1, 60, 160, 1) # 验证尺寸 sample_img = load_and_preprocess_image("wmpmp.jpg") print(sample_img.shape) # (1, 60, 160, 1) —— 符合CNN输入要求

提示：target_size=(60, 160)是项目预设尺寸，对应5位数字宽高比（160px宽 / 60px高 ≈ 2.67，接近常见验证码宽度）。若你的数据集尺寸不同，必须统一resize，否则CNN卷积核感受野错位，特征提取失效。

2.3 构建多输出CNN模型：用5个并行Dense层分别预测每位数字

模型核心在于共享卷积特征提取器 + 独立分类头。卷积部分（Conv2D+MaxPooling）学习通用纹理、边缘特征；后续全连接层为每位数字单独分支，避免位置间干扰。Keras实现如下：

from tensorflow.keras import layers, models def build_cnn_model(input_shape=(60, 160, 1), num_classes=10): inputs = layers.Input(shape=input_shape) # 共享卷积主干 x = layers.Conv2D(32, (3, 3), activation='relu', padding='same')(inputs) x = layers.MaxPooling2D((2, 2))(x) x = layers.Conv2D(64, (3, 3), activation='relu', padding='same')(x) x = layers.MaxPooling2D((2, 2))(x) x = layers.Conv2D(128, (3, 3), activation='relu', padding='same')(x) x = layers.MaxPooling2D((2, 2))(x) x = layers.Flatten()(x) x = layers.Dropout(0.3)(x) # 5个并行输出分支（每位一个） outputs = [] for i in range(5): branch = layers.Dense(128, activation='relu')(x) branch = layers.Dropout(0.3)(branch) branch = layers.Dense(num_classes, activation='softmax', name=f'digit_{i}')(branch) outputs.append(branch) model = models.Model(inputs=inputs, outputs=outputs) return model model = build_cnn_model() model.summary()

逻辑说明：name=f'digit_{i}'为每个输出层命名，便于后续编译时指定loss权重；Dropout(0.3)放在Flatten后和Dense前，防止全连接层过拟合；softmax确保每位输出概率和为1，符合分类任务本质。模型总参数约120万，可在GTX1060级别显卡上流畅训练。

3. 数据集组织与训练流程：如何用ImageDataGenerator高效加载5位验证码图像

3.1 项目数据集结构解析：图像文件名即标签，无需额外label.csv

项目未提供labels.csv，而是将标签信息直接编码在文件名中。例如27491.jpg表示该图验证码为"27491"，6cm6m.jpg（注意：此为异常样本，含字母，需过滤）——这要求你在加载前做严格校验。标准数据集应只含数字文件名，建议用正则清洗：

import os import re from pathlib import Path def get_valid_image_paths(data_dir): """扫描目录，仅返回文件名全为数字的.jpg文件路径""" data_dir = Path(data_dir) valid_paths = [] for img_path in data_dir.glob("*.jpg"): filename = img_path.stem # 去掉.jpg后缀 if re.fullmatch(r'\d{5}', filename): # 必须是5位纯数字 valid_paths.append(str(img_path)) return valid_paths # 示例 data_dir = "./dataset/" image_paths = get_valid_image_paths(data_dir) print(f"Valid images: {len(image_paths)}") # 如输出 1200，说明有1200张合规图

注意：摘要中列出的wmpmp.jpg、ydd3g.jpg等明显含字母，属于测试时的干扰样本或命名错误，正式训练前必须剔除。否则label_to_onehot("wmpmp")会因int('w')报错。

3.2 自定义DataGenerator：解决OneHot标签与多输出模型的shape匹配问题

Keras的ImageDataGenerator默认只支持单输出，而本项目是5输出。需继承Sequence类，手动实现__getitem__，确保每次返回的y_batch是长度为5的列表，每个元素shape为(batch_size, 10)：

from tensorflow.keras.utils import Sequence import numpy as np class CaptchaSequence(Sequence): def __init__(self, image_paths, batch_size=32, shuffle=True): self.image_paths = image_paths self.batch_size = batch_size self.shuffle = shuffle self.on_epoch_end() def __len__(self): return int(np.ceil(len(self.image_paths) / self.batch_size)) def __getitem__(self, index): batch_paths = self.image_paths[index * self.batch_size:(index + 1) * self.batch_size] X, y = self.__data_generation(batch_paths) return X, y def on_epoch_end(self): if self.shuffle: np.random.shuffle(self.image_paths) def __data_generation(self, batch_paths): X = np.empty((len(batch_paths), 60, 160, 1)) y = [np.empty((len(batch_paths), 10)) for _ in range(5)] # 5个(32,10)数组 for i, img_path in enumerate(batch_paths): # 加载预处理图像 img = load_and_preprocess_image(img_path)[0] # 去掉batch维 X[i] = img # 提取标签并转OneHot label_str = Path(img_path).stem onehot_label = label_to_onehot(label_str) # shape: (5,10) # 分配到5个输出 for pos in range(5): y[pos][i] = onehot_label[pos] return X, y # 使用示例 train_gen = CaptchaSequence(image_paths[:1000], batch_size=32) val_gen = CaptchaSequence(image_paths[1000:], batch_size=32)

参数说明：batch_size=32是平衡显存与梯度稳定性的常用值；on_epoch_end()中np.random.shuffle确保每轮训练顺序不同，提升泛化；__data_generation内onehot_label[pos]直接赋值，避免循环中重复调用to_categorical，提升效率。

3.3 多输出模型编译与训练：为每位数字设置相同loss权重，监控各位置准确率

编译时需为5个输出分别指定loss和metrics，loss_weights设为全1，表示各位重要性相同：

model.compile( optimizer='adam', loss='categorical_crossentropy', loss_weights=[1.0, 1.0, 1.0, 1.0, 1.0], # 每位权重相等 metrics=['accuracy'] ) # 定义回调：保存最佳模型，早停防过拟合 from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping callbacks = [ ModelCheckpoint('best_captcha_model.h5', save_best_only=True), EarlyStopping(patience=5, restore_best_weights=True) ] history = model.fit( train_gen, validation_data=val_gen, epochs=50, callbacks=callbacks, verbose=1 )

训练日志中会显示5个accuracy指标：

digit_0_accuracy: 0.9921 - digit_1_accuracy: 0.9876 - digit_2_accuracy: 0.9903 - ...

这比单一accuracy更有诊断价值——若digit_2_accuracy始终低于其他位，说明第3位字符易混淆（如"5"和"6"），可针对性增强该位置的数据增强。

4. 推理与评估：如何用训练好的模型批量预测，并计算整体准确率与单字符准确率

4.1 单图预测函数：解析模型输出，拼接5位数字结果

模型预测返回5个数组，每个shape为(1,10)，需取argmax得到数字：

def predict_captcha(model, img_path): """输入图片路径，返回预测的5位字符串""" img = load_and_preprocess_image(img_path) preds = model.predict(img) # list of 5 arrays, each shape (1,10) result_digits = [] for i, pred in enumerate(preds): digit_idx = np.argmax(pred[0]) # pred[0] because batch_size=1 result_digits.append(str(digit_idx)) return ''.join(result_digits) # 测试 pred = predict_captcha(model, "27491.jpg") print(f"Predicted: {pred}, True: 27491") # Expected: '27491'

逻辑说明：pred[0]取batch中第0个样本（单图预测），np.argmax返回概率最大类别的索引，即0~9的数字。此函数可直接用于毕设演示界面的实时识别。

4.2 批量评估脚本：计算整体准确率（全对才算对）与单字符准确率（按位统计）

def evaluate_model(model, image_paths, threshold=0.95): """评估模型在给定路径列表上的性能""" correct_total = 0 correct_per_digit = np.zeros(5) # 记录每位正确次数 for img_path in image_paths: true_label = Path(img_path).stem pred_label = predict_captcha(model, img_path) # 整体准确率：5位全对 if pred_label == true_label: correct_total += 1 # 单字符准确率 for i, (t, p) in enumerate(zip(true_label, pred_label)): if t == p: correct_per_digit[i] += 1 total = len(image_paths) overall_acc = correct_total / total digit_acc = correct_per_digit / total print(f"Overall Accuracy: {overall_acc:.4f} ({correct_total}/{total})") for i, acc in enumerate(digit_acc): print(f"Digit {i+1} Accuracy: {acc:.4f}") # 输出各位置准确率表格 print("\nPosition-wise Accuracy:") print(f"{'Position':<10} {'Accuracy':<10}") print("-" * 20) for i, acc in enumerate(digit_acc): print(f"{i+1:<10} {acc:<10.4f}") return overall_acc, digit_acc # 运行评估 test_paths = image_paths[-200:] # 取最后200张作测试集 overall, per_digit = evaluate_model(model, test_paths)

提示：若第3位准确率显著偏低（如<0.95），说明该位置字符易受干扰。可检查原始图像——是否第3位常有噪点、模糊或粘连？此时应针对性添加RandomRotation或GaussianBlur增强，而非盲目增加训练轮数。

4.3 混淆矩阵可视化：定位具体哪些数字对容易混淆

from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt import seaborn as sns def plot_confusion_matrix(model, image_paths, digit_pos=2): # 分析第3位（索引2） """绘制指定位置的混淆矩阵""" y_true, y_pred = [], [] for img_path in image_paths: true_label = Path(img_path).stem[digit_pos] pred_label = predict_captcha(model, img_path)[digit_pos] y_true.append(int(true_label)) y_pred.append(int(pred_label)) cm = confusion_matrix(y_true, y_pred, labels=list(range(10))) plt.figure(figsize=(8, 6)) sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', xticklabels=range(10), yticklabels=range(10)) plt.title(f'Confusion Matrix - Digit Position {digit_pos+1}') plt.xlabel('Predicted') plt.ylabel('True') plt.show() # 绘制第3位混淆矩阵 plot_confusion_matrix(model, test_paths, digit_pos=2)

若发现5常被误判为6、8常被误判为3，说明模型对闭合环形特征学习不足，可在CNN中增加Conv2D(256, (3,3))层或调整kernel_size强化细节提取。

5. 毕设级优化技巧：如何在不重训模型的前提下，用滑动窗口提升复杂验证码鲁棒性

5.1 问题定位：当验证码字符间距不均或存在轻微偏移时，固定尺寸裁剪会丢失关键像素

项目提供的图像（如6cm6m.jpg虽异常，但暗示了真实场景问题）可能包含字符横向压缩、纵向拉伸或局部模糊。此时，单纯依赖cv2.resize到(60,160)会放大形变误差。一个低成本改进是滑动窗口切片+投票机制：将原图（如120x320）按步长滑动裁剪多个(60,160)子图，分别预测，取出现频次最高的结果作为最终答案。

def sliding_window_predict(model, img_path, window_size=(60, 160), step=20): """在原图上滑动窗口，聚合多次预测结果""" img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) h, w = img.shape predictions = [] # 滑动窗口遍历 for y in range(0, h - window_size[0] + 1, step): for x in range(0, w - window_size[1] + 1, step): crop = img[y:y+window_size[0], x:x+window_size[1]] # 保存临时裁剪图并预测 temp_path = f"temp_crop_{y}_{x}.jpg" cv2.imwrite(temp_path, crop) pred = predict_captcha(model, temp_path) predictions.append(pred) os.remove(temp_path) # 清理临时文件 # 投票：取众数 from collections import Counter most_common = Counter(predictions).most_common(1)[0][0] return most_common # 示例：对一张宽图做滑窗 result = sliding_window_predict(model, "wide_captcha.jpg") print(f"Sliding Window Result: {result}")

参数说明：window_size=(60,160)保持与训练尺寸一致；step=20控制重叠度，越小越精细但耗时越长；Counter(predictions).most_common(1)直接获取最高频预测结果。此方法无需修改模型，仅增加推理时间约3~5倍，却能显著提升对轻微形变的容忍度。

5.2 集成学习微调：用同一模型不同epoch权重做模型平均，降低过拟合风险

训练过程中保存了多个checkpoint，可加载多个epoch的权重（如epoch 30、40、50），对同一输入做多次预测，再按位取众数：

def ensemble_predict(model_paths, img_path): """加载多个模型权重，集成预测""" preds = [] for model_path in model_paths: model = build_cnn_model() model.load_weights(model_path) pred = predict_captcha(model, img_path) preds.append(pred) # 按位投票 final_digits = [] for pos in range(5): votes = [p[pos] for p in preds] final_digits.append(Counter(votes).most_common(1)[0][0]) return ''.join(final_digits) # 使用三个epoch的权重 models_to_ensemble = ['epoch30.h5', 'epoch40.h5', 'epoch50.h5'] ensemble_result = ensemble_predict(models_to_ensemble, "test.jpg")

此技巧在毕设答辩中极具说服力——它证明你理解模型不确定性，并主动设计鲁棒性方案，远超“跑通就行”的基础水平。

本文还有配套的精品资源，点击获取