基于MTCNN+LPRNet的轻量级车牌识别方案与实战解析

简介面向深度学习与计算机视觉学习者一套车牌识别工程将 MTCNN 检测与 LPRNet 识别相结合完整覆盖车牌检测、区域裁剪、字符识别与后处理流程适用于智能交通、安防监控、停车场管理等场景也可作为课程设计或算法复现参考。资源共包含 870 个文件压缩包约 543.9MB其中大量 ckpt/pth 文件为不同训练阶段的模型权重py 脚本覆盖数据预处理、训练与推理jpg/png 图片提供车牌样本与检测效果xml 标注方便二次训练另有演示视频和说明文档便于对照学习。已有 406 人学习下载。借助这套工程读者既能直接加载训练好的权重测试也能深入理解 MTCNN 的多任务级联检测结构与 LPRNet 的残差特征提取代码中体现的多尺度信息融合、数据增强和优化策略为实际项目中的精度调优与轻量化部署提供了可参考的实践路径。1. 项目概述这套车牌识别方案能解决什么问题车牌识别这个需求在停车场管理、收费站、园区门禁、智慧工地这些场景里几乎天天遇到。以前大家习惯用传统图像处理做字符分割再逐个识别一到倾斜、逆光、模糊的车牌就崩。后来有了深度学习方案检测加识别两步走稳定性和准确率都有了质的提升。这套基于LPRNetMTCNN的组合是我在多个实际项目里调过、跑过、反复踩坑之后觉得比较适合落地的一套轻量级方案。MTCNN负责从整张图里把车牌区域“框”出来LPRNet负责把框出来的车牌图片直接转成字符串。两个网络加起来也就几十MB的模型体积CPU上也能跑得动不需要昂贵的GPU设备对嵌入式设备和老旧工控机都很友好。相比YOLO系列做车牌检测MTCNN虽然定位精度上限略低但模型更小、部署更简单尤其在纯CPU环境下帧率优势很明显。LPRNet则省去了传统OCR里“先分割字符再逐个识别”的步骤直接用序列识别的方式输出整块车牌的文本车牌倾斜、字符粘连、光照不均这些老大难问题都能比较好地容忍。这套方案适合谁如果你正在做停车场道闸、园区门禁改造或者想把已有的摄像头接入自己的识别系统再或者只是想在树莓派或者Jetson Nano这种小设备上跑一个车牌识别demo这套组合都能覆盖。不需要你有深厚的算法背景会用PyTorch跑推理、懂一点图像预处理就能把整条链路打通。2. 核心方案拆解为什么是MTCNN而不是YOLO为什么LPRNet能免分割2.1 检测环节选型MTCNN在车牌场景的迁移价值MTCNNMulti-task Cascaded Convolutional Networks原本是FaceNet团队提出的人脸检测算法通过三个级联网络P-Net、R-Net、O-Net从粗到细地完成人脸框回归和关键点定位。很多人听到这里会疑惑人脸检测的网络搬来检测车牌靠谱吗这个迁移是有道理的。车牌和人脸有一些高度相似的视觉特征结构化纹理明显字符区域集中、边缘响应强烈外边框字符笔画、尺寸相对固定占比不会太大也不会太小。MTCNN的三级级联结构天然适合处理这种“候选区域多、需要逐步精修”的检测任务。P-Net在图像金字塔上快速滑窗生成大量候选框R-Net把这些候选框进一步筛选去掉大部分误检O-Net做最后的精修同时输出车牌四个角点或边框坐标。和YOLO v2/v5这样的单阶段检测器相比MTCNN的优势在于没有锚框anchor概念的调参负担不需要针对不同车牌长宽比去聚类先验框网络结构简单参数量小在CPU上做一次完整的前向推理只需要几十毫秒三个网络可以分别量化、裁剪部署灵活度高。我实测过在Jetson Nano上用TensorRT加速后的MTCNN做车牌检测1080P画面里单帧推理时间大约30毫秒基本够用。需要特别说明的是MTCNN原版输出的是人脸5个关键点双眼、鼻尖、嘴角用在车牌上要改造成输出车牌四个角点。改造方法很简单把O-Net的全连接层输出从10个数值5个点各x,y改成8个数值4个角点各x,y就行训练数据用车牌角点标注。如果你不想改网络结构也可以直接用检测框做仿射变换矫正不依赖角点后面我会详细说。2.2 识别环节选型LPRNet的免分割设计哲学传统的车牌识别先要二值化、找字符轮廓、切出单个字符然后用分类器识别。这套流程在车牌干净、角度正的条件下没问题但遇到高强度逆光、泥浆遮挡、字符间距不均等情况切分就出错一错全都错这就是“误差级联放大”效应。LPRNet的核心思路是彻底绕开分割步骤。它把整块车牌图片输入一个轻量CNN主干类似VGG16的一个瘦身版本提取出特征序列然后用CTCConnectionist Temporal Classification损失函数做序列对齐。CTC这名字听着吓人但实际原理并不复杂它允许网络输出的每一帧去预测“当前可能是哪个字符”同时允许输出“空白符号”来跳过非字符帧最后把所有帧的预测按顺序合并去掉重复字符和空白就得到了最终车牌文本。因为车牌是单行的不需要像OCR那样处理多行直接用一维序列就能搞定。LPRNet在字符集设计上也要提前规划好。中国大陆车牌由省份简称汉字、字母、数字组成。省份汉字有31个各省简称实际使用的有30个左右不含“藏”“琼”之外的部分特殊牌照场景字母24个去掉I和O避免和数字1、0混淆数字10个加起来大约65个类别。如果你的项目涉及新能源绿牌那就是8个字符比蓝牌多一位训练时要把字符集定义好多一位少一位LPRNet都能通过CTC自适应输出这正是免分割模型最大的好处。2.3 车牌矫正与预处理决定最终识别精度的隐形因素检测框出来后不能直接扔给LPRNet就完事。车牌在画面里往往是斜的如果只是把原始框裁剪出来字符是歪的识别准确率会掉得很快。这里需要做一个透视矫正。如果模型输出了四个角点直接根据角点计算透视变换矩阵把车牌拉正到标准矩形。如果只有检测框坐标也可以用一个更粗糙但有效的办法在检测框周围外扩15%的边距避免字符被切断然后对裁剪区域做边缘检测探测车牌边框的直线估算倾斜角再做旋转矫正。实测下来倾斜角在±15度以内时旋转矫正的效果和透视变换几乎没差别超过15度必须用角点做透视变换。矫正之后的图像还要resize到固定尺寸。LPRNet的标准输入是94×24宽×高这个尺寸不是随意定的而是根据车牌字符宽高比440mm×140mm的车牌去掉边框后字符区域大约440×92单个字符长宽比约45:90≈1:2推理出来的一个均衡值。Resize之后建议做一次归一化RGB三个通道减去均值、除以标准差和训练时的预处理保持一致。3. 实操落地从环境搭建到完整推理Pipeline3.1 环境与依赖清单这套方案依赖不多我建议用Python 3.8PyTorch 1.10以上的组合PyTorch的CPU版本也能跑只是速度慢一些。torch1.13.0 torchvision0.14.0 opencv-python4.8.0 numpy1.24.0训练MTCNN可以基于wider face预训练权重做微调网上有现成的PyTorch实现比如GitHub上的mtcnn-pytorch仓库改一下输出维度就能训练车牌检测。LPRNet也有开源的训练代码和权重我建议直接用官方预训练权重起步然后用你自己的场景数据做微调而不必从头训练。3.2 数据准备车牌数据从哪来、怎么标注数据是这套方案里最花时间、最影响效果的部分。公开数据集中CCPDChinese City Parking Dataset是用的最多的包含超过25万张中国城市车牌图片场景覆盖白天、夜晚、倾斜、模糊等多种情况。缺点是车型覆盖以安徽合肥为主有些省份简称样本量不够需要自己补。如果项目是特定场景比如某个园区入口我强烈建议直接用现场摄像头抓拍一两千张图手动标注后做微调。现场拍的数据和公开数据集分布差异极大直接用公开模型很可能出现“训练时准确率95%上线肉眼可见地翻车”的情况。标注工具用LabelImg或者Roboflow都行导出Pascal VOC格式再转成MTCNN训练需要的txt格式图片路径四个角点坐标。车牌识别网络LPRNet的训练数据不需要标注字符级位置只需要给“图片文件路径车牌文本”即可。这比传统OCR省力太多了。数据增强方面我推荐组合使用随机亮度扰动模拟逆光和夜晚、随机旋转±5度内、随机透视变换模拟摄像头角度、高斯模糊和噪声模拟雨天和低照度。这些增强策略能显著提升模型的鲁棒性特别是在现场数据量不足的情况下简直就是救命稻草。3.3 检测与识别核心代码一段代码看懂全链路先看MTCNN的检测部分。加载模型之后对输入图像做一次前向推理输出检测框和关键点。如果你会用到上面提到的特征可以把网络改造输出四个角点或者直接用边框坐标做后面矫正的近似值。import cv2 import numpy as np import torch from mtcnn_pytorch import PNet, RNet, ONet, detect_faces # 加载预训练模型定义网络结构 device torch.device(cuda if torch.cuda.is_available() else cpu) pnet PNet().to(device) rnet RNet().to(device) onet ONet().to(device) pnet.load_state_dict(torch.load(weights/mtcnn_pnet.pth, map_locationdevice)) rnet.load_state_dict(torch.load(weights/mtcnn_rnet.pth, map_locationdevice)) onet.load_state_dict(torch.load(weights/mtcnn_onet.pth, map_locationdevice)) img cv2.imread(car.jpg) img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # detect_faces 返回 box 和 landmark boxes, landmarks detect_faces(img_rgb, [pnet, rnet, onet], devicedevice) for i, box in enumerate(boxes): x1, y1, x2, y2 [int(v) for v in box[:4]] cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2)接下来看LPRNet识别部分。先实例化网络加载权重然后把检测框裁剪出来做矫正、缩放最后通过CTC解码输出车牌文本。from lprnet import LPRNet, decode_be_search # 字符集根据训练顺序 CHARS [京, 津, 冀, 晋, 蒙, 辽, 吉, 黑, 沪, 苏, 浙, 皖, 闽, 赣, 鲁, 豫, 鄂, 湘, 粤, 桂, 琼, 渝, 川, 贵, 云, 藏, 陕, 甘, 青, 宁, 新, A,B,C,D,E,F,G,H,J,K,L,M, N,P,Q,R,S,T,U,V,W,X,Y,Z, 0,1,2,3,4,5,6,7,8,9] model LPRNet(len(CHARS)) model.load_state_dict(torch.load(weights/lprnet.pth, map_locationcpu)) model.eval() def lprnet_inference(crop_img): crop_img 是矫正后的车牌裁剪图BGR img cv2.resize(crop_img, (94, 24)) img img.astype(np.float32) / 255.0 img (img - 0.5) / 0.5 # 归一化 img torch.from_numpy(img).permute(2, 0, 1).unsqueeze(0) with torch.no_grad(): logits model(img) # [T, batch, num_classes] preds logits.permute(1, 0, 2) result decode_be_search(preds, CHARS) return result[0] # 字符串结果这里的decode_be_search用集束搜索beam search代替简单的贪心解码能明显减少字符间的语义错误。虽然是零外部语言模型只是把概率最高的序列串起来但实测比贪心解码的错误率低3到5个百分点。3.4 完整推理流程把检测和识别串成一条流水线把上面的模块串起来配合一个简单的视频帧循环就是一个能跑的车牌识别demo。cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break boxes, landmarks detect_faces(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB), [pnet, rnet, onet], devicedevice) for (box, landmark) in zip(boxes, landmarks): x1, y1, x2, y2 [int(v) for v in box[:4]] # 外扩15%防止切掉字符边缘 margin_w int((x2 - x1) * 0.15) margin_h int((y2 - y1) * 0.15) x1 max(0, x1 - margin_w) y1 max(0, y1 - margin_h) x2 min(frame.shape[1], x2 margin_w) y2 min(frame.shape[0], y2 margin_h) crop frame[y1:y2, x1:x2] # 透视矫正简化示例直接按边框做矩形拉伸 crop cv2.resize(crop, (94, 24)) plate_text lprnet_inference(crop) print(识别结果:, plate_text) cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(frame, plate_text, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 255, 0), 2) cv2.imshow(LPRNetMTCNN, frame) if cv2.waitKey(1) 0xFF ord(q): break这里有个细节值得注意我把矫正简化成了直接resize。实际项目中如果全是固定角度枪机这个简化可以。如果摄像头角度比较大或者有俯仰视角就必须先做透视矫正否则字符形变会直接拖垮识别率。4. 常见问题与排查技巧实录4.1 车牌检测框不稳、丢检严重帧与帧之间检测框跳动很大或者隔几帧就检测不到车牌。这个问题大概率出在图像金字塔image pyramid的参数上没有适配你的场景。MTCNN在检测时会把输入图像缩放成多尺度金字塔小目标检测靠金字塔的小尺度层。如果场景里车牌在画面中只占很小一块金字塔的最小尺度要设得足够小。另外两个网络之间的阈值设置也很关键P-Net的置信度阈值建议设低一点0.6左右宁多误检不少检R-Net和O-Net的阈值逐级提高0.7、0.8这样能保证召回率不损失太多。另外需要注意MTCNN默认是按人脸矩形框的比例做回归如果你直接用它输出车牌框框的高度和宽度比例在极端角度下会失真。做训练数据的时候要刻意加入各种不同角度的车牌样本让模型学到车牌的几何变化。4.2 识别结果出现“8”和“B”混淆、省份汉字错误这是LPRNet训练时最常见的坑。字符“8”和“B”、“0”和“O”、“1”和“I”在低分辨率下视觉极度相似纯视觉模型很难区分。解决办法有三层第一层是在训练时对易混淆字符做针对性数据增强比如把“8”轻微下压一点、“B”轻微拉伸一点强制模型去学细微差异第二层是在解码时引入车牌规则约束例如第二位必须是字母最后五位不能出现汉字这能直接把不合法的解码结果排除掉第三层是在后处理时加一个混淆字符纠错表比如识别结果为“京A8B888”如果第五和第六位是“8”和“B”相邻结合规则判断该位置更可能是“8”自动修正。省份汉字识别错误大多是因为训练数据里某些省份样本量太少。CCPD以安徽车牌为主“皖”字的准确率很高但“新”“藏”这些字符出现频率低效果就差。解决办法是收集目标省份的真实车牌图像补训别无他法。如果实在收集不到也可以用生成的方法制作虚拟车牌样本但要控制好渲染质量避免过拟合生成的字体。4.3 夜间识别率断崖式下跌白天能到95%以上的准确率到了晚上直接掉到80%甚至更差。这是车牌识别最常见的痛点。夜间主要问题有三个红外补光过爆导致字符反光泛白车灯直射导致车牌区域过亮环境光照不足导致整体噪点高。我的习惯是在识别前加一个自适应预处理模块先计算图像灰度均值如果低于某个阈值比如80判定为低照度场景做CLAHE对比度受限自适应直方图均衡化把车牌区域局部对比度拉开同时对高光区域做亮度截断防止反光把字符吞掉。CLAHE的参数需要根据现场摄像头调试clipLimit一般设在2.0到3.0之间tileGridSize取(8,8)效果好而且不会过度放大噪点。4.4 常见问题速查表现象可能原因解决方案检测框只框住半个车牌目标太小金字塔层数不足调小最小人脸参数min_face_size框到了车标、车灯、黑色保险杠训练负样本不足补充车身背景负样本调高O-Net阈值识别结果缺字符或多字符字符集和训练数据不一致或CTC解码逻辑问题检查字符集顺序和解码去重逻辑绿色新能源车牌识别差训练数据里绿牌占比太低单独补充绿牌数据或给绿牌单独训练一个识别分支角度大的车识别不出矫正失败检测框裁剪角度不对改用角点输出做透视变换不要只resize视频流跑起来很卡没有做跳帧或ROI区域跟踪用跟踪器锁定上一帧的车牌位置缩小检测范围4.5 一个典型的停车场项目落地经验之前做一个园区出入口项目摄像头装在1.5米高的立杆上俯角大约20度车牌在画面里占比约5%。第一次部署直接用开源的MTCNN人脸权重检测效果一塌糊涂框老是偏下人脸模型的几何先验不强直接迁移没做角度适配。后来我把O-Net改成输出四个角点用CCPD里角度大、远距离的样本单独训了一个星期检测问题才基本解决。识别环节更折腾现场光线下午四点开始西晒车牌先是金色反光后是暗部发黑直接在预处理里加了一个基于灰度分布的自适应增强准确率才从82%拉回到96%左右。5. 模型训练与微调别直接套开源权重针对性调优才有高准确率5.1 LPRNet模型微调实战步骤开源权重一般是在CCPD的分布上训练的如果直接拿去识别现场抓拍的车牌准确率可能只有90%甚至更低。想做到99%以上一定要做现场数据微调。步骤不复杂但要细心。第一步整理现场车牌图像。尽量覆盖不同时段白天、傍晚、夜晚、不同天气晴天、雨天、不同角度直拍、斜拍、俯拍每类至少100张总计最好超过500张。第二步写一个自动切图脚本用你训练好的MTCNN把车牌区域切下来人工检查一遍去掉检测框错的。这一步能直接把误检数据挡在训练集外。第三步微调时冻结LPRNet前几层权重只训练后面几层和全连接层。冻结前几层可以从OpenCV中提取基础特征保留泛化能力防止数据量太少导致过拟合。# 微调冻结前几层示例 for name, param in model.named_parameters(): if backbone.conv1 in name or backbone.conv2 in name: param.requires_grad False学习率一定要小推荐1e-4以下。预训练模型已经收敛到一个较好的局部最优学习率太大会把原有特征破坏掉。我踩过最大的坑就是把学习率设成1e-3微调了两天后发现识别率比微调前还低了5个百分点。5.2 数据增强细节与踩坑记录车牌识别增强和普通分类任务不一样有三条要特别注意。第一条亮度扰动范围不要太大。车牌本身是高反光材质暗光下容易看不清但过度调暗或调亮反而会制造假样本。我一般把亮度增益控制在0.7到1.3之间。第二条模糊增强要控制在透视模糊和运动模糊而不是随机高斯模糊。车牌运动模糊是沿着横向方向的用自定义核做水平模糊更贴近真实场景。第三条不要做随机裁切增强。车牌的字符区域本身就接近图片边缘随机裁切很容易把字符切掉训练出来一个“喜欢”丢字符的模型。还有一个细节很多人忽略训练图像归一化时一定要和推理时保持一致。比如训练时用的是x/255 - 0.5再除以0.5的范围推理时就不能只用x/255。这个坑我见过不止一次项目上排查半天发现是归一化不一致导致识别率低太冤了。6. 性能优化与边缘设备部署6.1 模型轻量化与TensorRT加速不少场景是跑在Jetson Nano、树莓派或者工控机上的算力有限需要做针对性优化。LPRNet本身只有大约3.7M参数FP32推理一张图大约10毫秒CPU做INT8量化后可以压缩到4毫秒左右。MTCNN三个网络中P-Net最耗时要在金字塔上跑多次R-Net和O-Net很快。优化思路是先把图像金字塔的层数限制在一个合理范围例如mmin_size40, max_size720减少P-Net的滑窗次数然后可以用跟踪策略上一帧检测到车牌后下一帧在检测框周围扩大30%的ROI区域内只跑R-Net和O-Net跳过P-Net的全图扫描这样能把单帧耗时从35毫秒压到15毫秒以下。TensorRT的加速效果很明显但有一个问题MTCNN的三级网络结构在TensorRT里要做动态shape因为R-Net的输入尺寸取决于P-Net的输出数量配置起来比较复杂。我的建议是先试试ONNX Runtime的FP16推理部署周期短提升也不小。6.2 实际部署时的性能基准我自己在Jetson Nano4GB版本上用ONNX Runtime做FP16推理测过一组数据环节耗时毫秒备注P-Net全图扫描12分辨率为1280×720R-Net候选框过滤5候选框数量约50个O-Net精修角点回归4最终检测框约1到2个LPRNet识别6单张裁剪车牌预处理矫正3灰度化、透视变换、resize合计约30无跟踪优化单帧耗时如果开启ROI跟踪第二帧起只需要3到5毫秒完全可以支撑25FPS左右的车牌识别。对停车场出入口这种应用场景这个速度绰绰有余。7. 项目扩展车牌识别结合MQTT协议对接主流相机车牌识别模型跑通了下一步就要解决“怎么和业务系统对接”的问题。现实中停车场项目里海康、大华这些主流相机的SDK或固件通常已经内置了车牌识别功能理论上可以直接用相机输出的结构化数据。但如果你自建识别服务或者要对接多品牌相机最通用的办法是用MQTT协议做数据通道。一个典型的对接思路相机侧或工控机侧把识别结果发布到MQTT Broker道闸控制系统订阅对应Topic自动执行开闸、放行和计费逻辑。消息体可以设计成JSON格式{ plate_no: 粤B12345, timestamp: 2025-01-15 08:30:00, confidence: 0.97, image_url: http://192.168.1.100:8080/capture/001.jpg, scene: entry }用MQTT的好处是解耦。图片、识别结果、道闸状态都是独立模块互不阻塞。摄像头只管推流和抓图识别服务只管出结果闸机只订阅结果做动作。这样即使某一路摄像头故障也不会影响整个系统的其他通道。如果要对接海康、大华的相机通常二选一第一种是用相机内置的报警事件输出通过ONVIF协议或SDK回调拿识别结果第二种是把相机设置为抓拍模式用HTTP推图到自建服务做二次识别。我建议对识别准确率要求高的场景选第二种因为相机内置的识别算法对某些小众车牌新能源、使馆牌、挂车牌支持不够自建系统可控性更强。以“192.168.1.100”这个常见的相机IP为例配置流程是相机以RTSP协议推流到识别服务 → MTCNN做检测 → LPRNet识别 → 结果通过MQTT发送 → 道闸系统根据结果开闸或报警。串联起来以后整个系统就从一个“能识别车牌的demo”变成了“能用、能部署、能接真业务的完整系统”。配合捷顺等品牌的停车场管理软件时一般也支持MQTT或HTTP接口对接。我在项目里的习惯是先让识别系统输出结构化JSON再用一个独立的适配层去对接不同厂商的SDK避免识别服务被厂商绑定。这样就算后面换了相机品牌识别模块完全不用动只要改适配层就行。本文还有配套的精品资源点击获取