简介：本资源为基于 YOLOv8 与 LPRNet 的车牌识别系统完整项目包，面向计算机、人工智能、电子信息等相关专业学生及企业开发者，可用于毕业设计、课程设计、大作业或初期项目立项演示，兼顾小白实战练习与进阶学习借鉴。压缩包共 60 个文件，约 36.15MB，包含 13 个 Python 源码文件、3 个 PyTorch 模型权重（pt/pth）、22 张 jpg 图片样本，以及 Vue 前端页面、JSON 配置、YAML 训练参数和 Markdown 说明文档等，覆盖数据生成、标注、训练与推理全流程。项目采用 Flask 搭建后端服务，集成 YOLOv8 检测与 LPRNet 字符识别，配套数据集划分、批量图像缩放、标注生成等工具脚本，目录结构清晰，便于按模块阅读与二次开发。目前已有 1146 人学习下载，代码经测试可正常运行，适合作为车牌识别方向的入门与实战参考。
1. 车牌识别系统从零落地：YOLOv8 加 LPRNet 这套组合拳到底能不能打
车牌识别系统在停车场、园区闸机、高速卡口这些场景里几乎是刚需，但真正自己动手搭一套能跑通的，很多人卡在第一步：检测和识别到底怎么串。YOLOv8 负责把车牌从整张图里框出来，LPRNet 负责把框里的字符读出来，这套组合是目前 Python 源码层面最容易复现的方案之一。你拿到一份「YOLOv8 + LPRNet 车牌识别系统 python 源码 + 模型」的压缩包，里面通常包含检测权重、识别权重、推理脚本和少量测试图。这篇文章不假设你手里有某份特定源码，而是按这个技术方向最常见的工程做法，把环境搭建、数据准备、检测训练、识别训练、推理串联、部署优化整条链路讲清楚。适合有 Python 基础、想跑通一个完整 CV 项目但不想从论文啃起的工程师，也适合已经跑过 YOLOv8 检测、想加一个字符识别头的新手。下面从环境配置开始，一步步来。
2. 环境搭建与数据准备：把 YOLOv8 和 LPRNet 的依赖先理顺
2.1 用 conda 隔离环境，避开 CUDA 版本玄学
车牌识别项目同时依赖 ultralytics、PyTorch、OpenCV、NumPy 这几个库，版本冲突是新手翻车最多的地方。我一般用 conda 建一个独立环境，Python 版本锁在 3.9 或 3.10，这两个版本对 ultralytics 和 PyTorch 的兼容性最稳。如果你只有 CPU，也能跑，只是训练慢，推理一张图大概几百毫秒，做 demo 够用。
conda create -n lpr python=3.10 -y conda activate lpr # 安装 PyTorch，CPU 版本用下面这行 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # 如果有 NVIDIA 显卡，换成对应 CUDA 版本的命令，比如 cu118 # pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics opencv-python numpy pillow pyyaml tqdm这段命令的逻辑是：先建环境，再装 PyTorch，最后装 ultralytics 和其他工具库。参数上唯一需要你改的是 PyTorch 的 index-url，CPU 版本和 CUDA 版本不能混装，混装之后torch.cuda.is_available()会返回 False，但代码不报错，只是默默用 CPU 跑，这是最常见的「以为用了 GPU 其实没有」的坑。装完之后用下面这段代码验证：
import torch from ultralytics import YOLO print("torch:", torch.__version__) print("cuda available:", torch.cuda.is_available()) print("device count:", torch.cuda.device_count())如果cuda available是 False 而你有显卡，先检查驱动版本，再检查 PyTorch 是不是装成了 CPU 版。这一步不通过，后面训练会慢到让你怀疑人生。
2.2 车牌检测数据集：标注格式和目录结构
YOLOv8 检测部分需要的数据集是「图片 + YOLO 格式标签」。YOLO 格式每行是class_id x_center y_center width height，全部归一化到 0 到 1 之间。车牌检测通常只有一个类别，class_id 就是 0。目录结构按 ultralytics 的约定来：
datasets/ plate_det/ images/ train/ val/ labels/ train/ val/ data.yamldata.yaml内容如下：
path: ./datasets/plate_det train: images/train val: images/val nc: 1 names: ["plate"]标注工具用 labelme 或 labelImg 都行，导出时选 YOLO 格式。这里有个血泪经验：中文路径和空格路径会让 ultralytics 在部分版本下读不到文件，数据集路径全部用英文和下划线。另外，训练集和验证集的比例建议 8:2，如果样本少于 500 张，验证集至少留 50 张，否则验证指标波动很大，看不出模型到底有没有收敛。
2.3 车牌识别数据集：LPRNet 需要的是字符序列标签
LPRNet 不检测位置，它输入的是已经裁剪好的车牌小图，输出是字符序列。所以识别数据集要单独准备：把每张车牌图裁剪出来，文件名或配套的 txt 里写清楚车牌号。常见做法是建一个train.txt，每行格式为图片路径 车牌号，例如：
images/plate_001.jpg 京A12345 images/plate_002.jpg 沪B67890字符集需要你自己统计，中国车牌一般包含省份简称、字母、数字和少量特殊字符。把字符集写成一个列表，后面做编码映射用。注意：车牌里的「I」和「1」、「O」和「0」容易混，训练前最好统一规则，否则模型学出来的结果在业务上不可用。识别数据集的图片建议统一缩放到94x24，这是 LPRNet 原文常用的输入尺寸，宽高比接近真实车牌，缩放后字符不会严重变形。
3. YOLOv8 检测训练：参数怎么设、损失曲线怎么看
3.1 从预训练权重起步，别从零训
YOLOv8 提供 n、s、m、l、x 几个尺寸，车牌检测属于单类目标检测，用yolov8n.pt或yolov8s.pt就够了。n 版模型小、推理快，适合边缘设备；s 版精度略高，适合服务器端。训练命令如下：
yolo detect train \ model=yolov8n.pt \ data=datasets/plate_det/data.yaml \ epochs=100 \ imgsz=640 \ batch=16 \ lr0=0.01 \ patience=20 \ device=0 \ project=runs/plate_det \ name=exp1参数说明：epochs=100是上限，patience=20表示 20 轮验证指标不提升就早停，避免过拟合；imgsz=640是输入尺寸，车牌在图中占比小的话可以提到 960，但显存占用会明显上升；batch=16根据显存调，显存不够就降到 8 或 4；lr0=0.01是初始学习率，YOLOv8 默认用 SGD 时这个值比较稳，如果你换成 AdamW，建议降到 0.001。device=0表示用第一块 GPU，CPU 训练改成device=cpu。
训练过程中重点看两个东西：box_loss和mAP50。box_loss持续下降说明定位在收敛，mAP50上升到 0.9 以上基本可用。如果box_loss震荡不降，先检查学习率是不是太大，再检查标注框有没有越界或宽高为 0 的脏数据。YOLOv8 训练结束后会在runs/plate_det/exp1/weights/下生成best.pt和last.pt，推理用best.pt。
3.2 用验证集跑一遍，确认检测框不飘
训练完不要直接上业务图，先用验证集跑一遍，看检测框是不是稳定套在车牌上。命令如下：
yolo detect val \ model=runs/plate_det/exp1/weights/best.pt \ data=datasets/plate_det/data.yaml \ imgsz=640 \ batch=16输出里会给出 Precision、Recall、mAP50、mAP50-95。车牌检测场景下，Recall 比 Precision 更重要，因为漏检一张车牌比多检一个框更影响后续识别。如果 Recall 偏低，优先补充小目标、模糊、逆光场景的训练样本，而不是盲目加 epoch。验证时还可以加save=True把预测结果图存下来，肉眼过一遍，比只看数字靠谱。
3.3 检测模型导出：ONNX 和 TensorRT 怎么选
训练完的.pt权重适合 Python 推理，但如果要部署到 C++ 或边缘设备，通常导出 ONNX 或 TensorRT。导出命令：
yolo export model=runs/plate_det/exp1/weights/best.pt format=onnx imgsz=640 yolo export model=runs/plate_det/exp1/weights/best.pt format=engine imgsz=640 half=TrueONNX 通用性好，TensorRT 在 NVIDIA 设备上速度快但绑定硬件。half=True表示 FP16 量化，精度损失很小，速度提升明显。注意导出时的imgsz必须和训练时一致，否则检测框坐标会错位。导出后建议用onnxruntime跑一张图对比 PyTorch 输出，确认数值差异在可接受范围内。
4. LPRNet 识别训练：字符序列模型的关键参数与坑
4.1 LPRNet 的网络结构和输入输出
LPRNet 是一个轻量级字符识别网络，核心思路是用 CNN 提取特征，再接一个 CTC 损失做序列解码，不需要字符分割。输入是94x24的 RGB 车牌图，输出是每个时间步的字符概率分布，最后用 CTC 贪心解码或 beam search 得到车牌号。它的优势是模型小、速度快，适合和 YOLOv8 串联做实时识别。网络结构上，前面是几个卷积和池化层，后面接全连接和 reshape，整体参数量在百万级别，CPU 上也能跑到几十毫秒一张。
训练 LPRNet 的损失函数用 CTC Loss，PyTorch 里是torch.nn.CTCLoss。字符集需要预留一个 blank 标签，通常放在索引 0。下面是一个简化的训练循环骨架：
import torch import torch.nn as nn from torch.utils.data import DataLoader # charset 示例：blank + 省份简称 + 字母 + 数字 charset = ["blank", "京", "沪", "粤", "A", "B", "C", "1", "2", "3"] char_to_idx = {c: i for i, c in enumerate(charset)} ctc_loss = nn.CTCLoss(blank=0, zero_infinity=True) optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) for epoch in range(100): model.train() for imgs, labels, label_lens in train_loader: logits = model(imgs) # shape: [batch, T, num_classes] log_probs = logits.log_softmax(2).permute(1, 0, 2) input_lens = torch.full((imgs.size(0),), log_probs.size(0), dtype=torch.long) loss = ctc_loss(log_probs, labels, input_lens, label_lens) optimizer.zero_grad() loss.backward() optimizer.step()逻辑说明：logits的时间步维度要和 CTC 要求的输入长度对应；zero_infinity=True防止某些样本因长度不匹配导致 loss 变成 inf；label_lens是每个车牌号的实际字符数。参数上，学习率 1e-3 是 Adam 的常用起点，如果 loss 下降慢可以降到 5e-4，如果震荡就再降。batch size 根据显存调，LPRNet 模型小，batch 32 或 64 都可以。
4.2 字符集设计和数据增强的边界
字符集设计直接决定识别上限。中国车牌常见字符包括 31 个省份简称、26 个字母（I 和 O 通常不用）、10 个数字，加上 blank 一共不到 70 类。如果你的业务只涉及某个省份，可以把字符集缩小，模型更容易收敛。数据增强方面，LPRNet 对颜色和亮度变化比较敏感，训练时可以加随机亮度、对比度、轻微旋转和仿射变换，但不要加水平翻转，因为车牌翻转后字符顺序会反，CTC 解码会乱。另外，模糊和运动模糊可以加，这能提升实际卡口场景的鲁棒性。
4.3 识别模型评估：整牌准确率和字符准确率
识别模型不能只看 loss，要看整牌准确率。评估代码如下：
def evaluate(model, dataloader, char_to_idx, idx_to_char): model.eval() total, correct = 0, 0 with torch.no_grad(): for imgs, labels, _ in dataloader: logits = model(imgs) preds = logits.argmax(2) # 贪心解码 for pred, label in zip(preds, labels): pred_str = decode(pred, idx_to_char) label_str = decode(label, idx_to_char) total += 1 if pred_str == label_str: correct += 1 return correct / total整牌准确率低于 90% 时，先看是哪些字符错，常见的是相似字符混淆，比如「京」和「津」、「B」和「8」。解决办法是补充这些易混字符的训练样本，或者在解码时加语言模型约束。字符准确率可以用编辑距离算，但业务上整牌准确率更有意义，因为车牌错一个字符就等于识别失败。
5. 检测与识别串联：从一张图到车牌号的完整推理链路
5.1 推理流程拆解：裁剪、缩放、解码
完整推理链路是：读图 → YOLOv8 检测车牌框 → 按框裁剪 → 缩放到94x24→ 送入 LPRNet → CTC 解码 → 输出车牌号。下面是一个可运行的串联脚本：
import cv2 import torch import numpy as np from ultralytics import YOLO det_model = YOLO("runs/plate_det/exp1/weights/best.pt") rec_model = torch.jit.load("lprnet_best.pt") rec_model.eval() def recognize_plate(img_path): img = cv2.imread(img_path) results = det_model(img, imgsz=640, conf=0.5)[0] plates = [] for box in results.boxes: x1, y1, x2, y2 = map(int, box.xyxy[0].tolist()) crop = img[y1:y2, x1:x2] if crop.size == 0: continue crop = cv2.resize(crop, (94, 24)) crop = crop.astype(np.float32) / 255.0 crop = np.transpose(crop, (2, 0, 1))[None, ...] tensor = torch.from_numpy(crop) with torch.no_grad(): logits = rec_model(tensor) pred = logits.argmax(2)[0].tolist() plate_str = decode(pred, idx_to_char) plates.append((plate_str, (x1, y1, x2, y2))) return plates逻辑说明：conf=0.5是检测置信度阈值，低于这个值的框丢弃；裁剪后如果crop.size == 0说明框越界，直接跳过；缩放和归一化必须和训练时一致，否则识别率会大幅下降。decode函数做 CTC 贪心解码，把重复字符和 blank 去掉。参数上，conf可以按业务调，追求召回就降到 0.3，追求准确就提到 0.6。
5.2 多车牌和倾斜车牌的處理
一张图里有多辆车时，YOLOv8 会输出多个框，逐个裁剪识别即可。倾斜车牌是难点，检测框可能是旋转的，但 YOLOv8 默认输出水平框，裁剪出来的车牌会带背景。常见做法是先用检测框做透视变换矫正，再送识别。如果业务场景倾斜严重，可以考虑用 YOLOv8-OBB 旋转框检测，但那是另一个模型，需要重新标注和训练。实际项目中，我一般先看倾斜角度，小于 15 度直接裁剪识别影响不大，大于 15 度才上矫正。
5.3 推理速度优化：批处理和半精度
如果要做视频流实时识别，单张推理可能不够快。优化手段有三个：一是把检测和识别都导出成 ONNX 或 TensorRT，用onnxruntime或tensorrt推理；二是识别模型用 FP16 半精度；三是多帧批处理，把几帧的车牌裁剪图攒成一个 batch 送 LPRNet。实测在 GTX 1660 Ti 上，YOLOv8n + LPRNet 的 FP16 推理，单帧端到端可以做到 20 毫秒以内，满足 25 FPS 视频流。CPU 上大概 200 到 300 毫秒，只能做离线或低频抓拍。
6. 避坑与排查：车牌识别系统最常见的 5 个翻车现场
6.1 检测框正常但识别结果全是乱码
现象：YOLOv8 框得很准，但 LPRNet 输出的车牌号完全不对。原因通常是预处理不一致，训练时用的归一化方式、通道顺序、缩放插值方法和推理时不一样。解决：把训练时的预处理代码单独抽成一个函数，推理时直接调用同一个函数，不要凭记忆重写。重点检查cv2.resize的插值方式，训练用INTER_LINEAR，推理也要用INTER_LINEAR。
6.2 训练 loss 不降，CTC 输出全是 blank
现象：LPRNet 训练几轮后 loss 卡住，解码结果全是 blank。原因一般是字符集索引和标签编码对不上，或者label_lens传错。解决：打印一个 batch 的标签和对应长度，确认每个标签的索引都在字符集范围内，且长度等于实际字符数。另外检查 CTC 的blank索引是不是 0，如果字符集里 blank 不在 0，要显式传参。
6.3 验证集准确率高，实际场景一塌糊涂
现象：验证集整牌准确率 95%，但拿真实卡口图测试只有 60%。原因是训练数据分布和实际场景差异大，比如训练集都是正面清晰图，实际有逆光、模糊、大角度。解决：补充实际场景的困难样本重新训练，或者在训练时加更强的数据增强，比如随机模糊、随机亮度、随机遮挡。不要只看验证集数字，要拿业务图做测试集。
6.4 导出 ONNX 后检测框坐标偏移
现象：PyTorch 推理正常，导出 ONNX 后框的位置整体偏移或缩放。原因是导出时的imgsz和推理时不一致，或者预处理里的 letterbox 填充参数没对齐。解决：导出和推理用同一个imgsz，并且把 letterbox 的缩放比例和填充量记录下来，后处理时按同样参数还原坐标。ONNX 推理建议用 ultralytics 自带的YOLO类加载，它已经处理好了这些细节。
6.5 多线程推理时结果错乱
现象：单线程推理正常，开多线程后车牌号串了。原因是 PyTorch 模型不是线程安全的，多个线程同时调用同一个模型实例会出问题。解决：每个线程单独加载一个模型实例，或者用锁串行化推理。更推荐的做法是用一个推理队列，单线程消费，避免并发问题。如果一定要多线程，用torch.jit.load加载 TorchScript 模型，它对并发的支持比原生 PyTorch 好一些。
7. 进阶技巧：用置信度过滤和字符级后处理把准确率再拉一截
整套系统跑通之后，真正决定业务可用性的是后处理。LPRNet 的 CTC 解码输出是一串字符概率，贪心解码只取最大概率，但有些位置的最大概率也不高。我一般会加两层过滤：第一层是检测置信度，低于 0.4 的框直接丢；第二层是识别置信度，把每个字符的最大概率相乘或取平均，低于阈值的整牌结果标记为「不确定」，交给人工复核或二次抓拍。这个阈值需要按业务调，停车场场景可以放宽到 0.6，高速卡口建议 0.8 以上。
字符级后处理也能救回不少错。中国车牌有固定格式：第一个字符是省份简称，第二个是字母，后面是字母数字组合，新能源车牌还有固定的位数规则。写一个简单的规则校验函数，把不符合格式的结果按概率次优解重新解码，往往能把「京A12345」从「京A1234S」纠正回来。下面是一个规则校验的示例：
def validate_plate(plate_str): if len(plate_str) not in (7, 8): return False if plate_str[0] not in PROVINCES: return False if not plate_str[1].isalpha(): return False if not plate_str[2:].isalnum(): return False return True def decode_with_rules(logits, idx_to_char): pred = logits.argmax(2)[0].tolist() plate_str = decode(pred, idx_to_char) if validate_plate(plate_str): return plate_str # 不符合规则时，取 top2 重新组合，选第一个通过校验的 top2 = logits.topk(2, dim=2).indices[0].tolist() for i in range(len(top2)): for candidate in top2[i]: trial = pred[:i] + [candidate] + pred[i+1:] trial_str = decode(trial, idx_to_char) if validate_plate(trial_str): return trial_str return plate_str这段代码的逻辑是先用贪心解码出一个结果，如果不符合车牌格式，就在每个位置尝试第二候选字符，找到第一个符合格式的组合。参数上，top2可以扩展到top3，但计算量会增加，实际用top2就能覆盖大部分情况。注意这个后处理只适用于规则明确的中国车牌，如果业务涉及其他地区车牌，规则要相应调整。
还有一个容易被忽略的点是模型更新。车牌识别系统上线后，遇到识别错的样本，不要只改后处理规则，要把这些样本收集起来，定期重新训练。我一般每积累 500 张困难样本就做一次增量训练，学习率调小到 1e-4，训练 10 到 20 轮，既能吸收新样本，又不会把原有能力冲掉。这个习惯坚持下来，系统的准确率会随着业务运行逐步提升，而不是越用越差。
最后说一个我自己的教训：不要一上来就追求大模型和高精度。YOLOv8n + LPRNet 这套轻量组合，在大部分车牌识别场景下已经够用，先把整条链路跑通，把数据闭环建起来，再考虑换更大的模型或加更复杂的后处理。很多项目死在第一步环境没配好，而不是模型不够强。希望帮到你。
本文还有配套的精品资源，点击获取
