基于YOLOv5的深度学习车牌识别系统：从模型训练到工程落地全解析

简介这是一份基于YOLOv5的深度学习车牌识别系统本科毕业设计论文面向计算机视觉、深度学习相关专业的学生与开发者解决传统人工车牌识别效率低、难以适应复杂交通环境的问题。论文从研究背景与意义、国内外研究现状出发系统阐述了图像采集与预处理、车牌数据集构建、基于YOLOv5的模型训练、车牌定位、字符分割与字符识别等完整技术流程并详细给出Python编程环境下从数据集准备、模型调参到系统测试的实现方法内容覆盖毕业设计开题、中期检查、论文撰写及答辩等各阶段所需核心材料。整份资料共1个文件为docx格式文档压缩包大小约1.14MB文档包含标题页、摘要、目录、正文及参考文献等完整结构可直接替换个人信息后作为论文初稿基础。目前已有1006人学习浏览既可作为本科毕业论文的写作范本也可为实际车牌识别项目的算法选型、环境配置与编码调试提供具有工程参考价值的完整方案。1. 基于YOLOv5的深度学习车牌识别系统这份论文资源到底能做什么搞过车牌识别的同行都知道这个方向看起来成熟真上手做一套能跑通、能写进毕业论文的系统坑比想象中多得多。这份资源是一份完整的本科毕业设计论文题目就是基于YOLOv5的深度学习车牌识别系统里面包含了从绪论、技术选型、需求分析、系统设计到实现与测试的全套内容。技术栈很明确Python YOLOv5做目标检测与车牌定位MySQL存数据前端走B/S结构的管理后台功能覆盖车牌识别、统计分析、车牌地图、车牌管理和用户管理。适合三类人正在选题的本科生、需要快速复现车牌识别Demo的开发者以及想了解深度学习落地到管理系统怎么串起来的从业者。论文不是纯算法研究而是把算法模型嵌进一个完整的管理系统这种「算法 业务页面 数据库」的组合恰恰是毕业设计最常用的形态。2. YOLOv5模型选型与项目结构为什么是v5而不是v8权重和数据集怎么配2.1 从论文需求反推技术选型论文的功能需求写得很清楚车牌识别、统计分析、车牌地图、车牌管理和用户管理。这里面核心算法只有一块——从图片里把车牌区域检测出来然后做字符识别。选YOLOv5而不是更早的YOLOv3或者更新的YOLOv8论文里没有展开说但从工程角度看这是个合理选择。YOLOv3的检测精度在当时不错但网络结构偏老小目标检测能力一般车盘在整张图里占的比例不大容易漏检。YOLOv8虽然更强但对硬件要求高训练时间也长本科毕业设计的算力条件往往撑不住。YOLOv5正好卡在中间模型文件小、推理速度快、对显存要求宽容而且生态成熟网上能找到大量预训练权重和数据集处理工具复现成本低。实际做的时候我一般推荐直接用YOLOv5s这个规格。v5有n、s、m、l、x几个版本s代表small模型参数量大约7.2M在GTX 1660这种级别的显卡上就能跑到30 FPS以上检测车牌这种单个目标绰绰有余。如果你的显卡是RTX 3060以上可以试m版本精度会高一点但训练时间差不多翻倍。2.2 YOLOv5训练环境与依赖清单论文第2章介绍了Python和MySQL但没有给出具体环境版本这是我复现时自己补的。YOLOv5对版本敏感尤其是PyTorch和OpenCV的搭配装不对后面全是泪。以下是我验证过的组合# Python 3.8.10 # CUDA 11.3 cuDNN 8.2.0 pip install torch1.10.0cu113 torchvision0.11.0cu113 -f https://download.pytorch.org/whl/torch_stable.html pip install opencv-python4.5.5.62 pip install pandas matplotlib seaborn tqdm pip install pyyaml requests pillow # 如果要用TensorBoard看训练曲线 pip install tensorboard逻辑说明这里锁版本是因为YOLOv5官方仓库在2022年初的版本对torch 1.10支持最好新版torch会导致部分算子兼容问题。opencv-python的版本影响图像读取和预处理4.5.x系列稳定不会出现编译问题。安装完可以用一段代码验证环境通不通。参数说明-f参数指定PyTorch官方源CUDA版本要和驱动匹配先运行nvidia-smi看驱动支持的CUDA最高版本再去PyTorch官网选配套的安装命令这一步省不得。2.3 数据集组织方式与标注格式论文没有提供具体的数据集来源只说用了大量车牌图像训练。实际操作中车牌识别数据集有两种路数一种是直接用公开的车牌检测数据集另一种是自己拍或者下载图片后用LabelImg标注。YOLOv5要求的目录结构是这样的datasets/ ├── images/ │ ├── train/ │ │ ├── 000001.jpg │ │ └── 000002.jpg │ └── val/ │ ├── 000101.jpg │ └── 000102.jpg ├── labels/ │ ├── train/ │ │ ├── 000001.txt │ │ └── 000002.txt │ └── val/ │ ├── 000101.txt │ └── 000102.txt └── data.yaml标注文件是txt格式每行代表一个目标格式为类别id 中心点x坐标 中心点y坐标 宽度 高度坐标值都是归一化到0~1的小数。data.yaml内容如下train: datasets/images/train val: datasets/images/val nc: 1 names: [plate]逻辑说明nc是类别数量这里只检测车牌一种目标所以是1。names列表里的第一个元素对应标注文件中类别id为0的目标。如果你的场景还需要区分蓝牌、绿牌、黄牌就把nc改成对应的类别数标注时分别打标签。参数说明标注时要注意YOLO格式的坐标是归一化的LabelImg导出时要选YOLO格式而不是VOC格式。如果拿到的是VOC格式的XML标注需要用脚本转换转换的核心是坐标换算公式不具备通用性网上脚本很多但要检查目标框是否越界。常见做法是在train里放80%图片val放20%不要放测试集YOLOv5训练时用val做验证就够了。3. 车牌识别核心流程落地从图像预处理到字符识别3.1 图像预处理与车牌定位车牌识别的第一步不是直接丢给模型而是预处理。实际拍摄的车牌图片受光照、角度、遮挡影响很大直接送进网络识别率会掉得厉害。论文中提到了图像缩放、去噪、增强这部分我用OpenCV实现import cv2 import numpy as np def preprocess_image(img_path, target_size(640, 640)): # 读取原始图像 img cv2.imread(img_path) if img is None: raise ValueError(f无法读取图片: {img_path}) # 转为RGBOpenCV默认读入是BGR顺序 img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 去噪高斯模糊核大小5x5 img_blur cv2.GaussianBlur(img_rgb, (5, 5), 0) # 自适应直方图均衡化增强对比度 lab cv2.cvtColor(img_blur, cv2.COLOR_RGB2LAB) l, a, b cv2.split(lab) clahe cv2.createCLAHE(clipLimit3.0, tileGridSize(8, 8)) l_eq clahe.apply(l) lab_eq cv2.merge((l_eq, a, b)) img_enhanced cv2.cvtColor(lab_eq, cv2.COLOR_LAB2RGB) # 保持宽高比缩放不足的地方用灰色填充 h, w img_enhanced.shape[:2] scale min(target_size[0] / h, target_size[1] / w) new_h, new_w int(h * scale), int(w * scale) img_resized cv2.resize(img_enhanced, (new_w, new_h)) canvas np.full((target_size[0], target_size[1], 3), 114, dtypenp.uint8) offset_y (target_size[0] - new_h) // 2 offset_x (target_size[1] - new_w) // 2 canvas[offset_y:offset_y new_h, offset_x:offset_x new_w] img_resized return canvas, img逻辑说明这段代码做了三件事——把OpenCV默认的BGR转成RGB保证颜色正确、用高斯模糊去掉传感器噪点、用CLAHE增强局部对比度解决逆光和阴影问题。最后一步的letterbox填充很关键因为YOLOv5要求输入尺寸统一直接拉伸会让车牌变形、检测框位置失真填充灰色是官方推荐做法。参数说明clipLimit3.0是对比度限制值太大会把噪点也放大tileGridSize(8,8)把图像分成8x8块做局部均衡。target_size(640,640)和YOLOv5默认输入一致如果你改了模型输入的imgsz参数这里要同步改。3.2 字符分割与识别YOLOv5检测出车牌区域后需要从检测框内把字符一个个切出来。这步用投影法最直接。先做灰度化、二值化再统计垂直方向的黑点分布连续的空档就是字符边界def segment_characters(plate_img): # 输入YOLOv5检测并截取的车牌区域 gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) # 大津二值化自动找阈值适合光照不均 _, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) # 找轮廓过滤掉太小的噪声区域 contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) chars [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) area w * h total_area plate_img.shape[0] * plate_img.shape[1] # 字符面积一般占车牌总面积的2%~10% if 0.02 * total_area area 0.10 * total_area: if h 0.3 * plate_img.shape[0]: # 高度至少为车牌高度的30% chars.append((x, y, w, h)) # 按x坐标从左到右排序保证字符顺序正确 chars.sort(keylambda box: box[0]) return chars, binary逻辑说明字符分割的难点不在算法而在阈值。THRESH_BINARY_INV会把亮底暗字变成亮字暗底适合白底蓝字的蓝牌如果是新能源绿牌底色深字符浅需要改用THRESH_BINARY这个要按实际车牌类型切换。过滤条件里的面积比例和高度比例是我调出来的经验值换了摄像头角度可能要微调。参数说明THRESH_OTSU是自适应阈值标志加了这个后threshold的第一个参数可以填0算法自动计算最优阈值。字符高度阈值0.3是为了过滤掉车牌上的螺丝孔和边缘装饰线这些噪声的高度占比通常不到整个车牌高度的30%。字符识别这一步我通常不自己训练网络而是用现成的OCR方案。论文里没有指定字符识别算法实际项目直接用PaddleOCR或者Tesseract都能跑。如果追求毕业设计的独立性也可以写一个小型CNN用公开的字符集训练但训练数据要覆盖汉字省份简称和数字字母工作量不小。3.3 识别结果结构化输出识别完成后不能只打印一个字符串系统后续要存数据库、做统计所以要把结果整理成结构化数据。我的习惯是封装一个识别结果类class PlateInfo: def __init__(self, plate_no, plate_color, plate_type, confidence): self.plate_no plate_no # 车牌号码如京A12345 self.plate_color plate_color # 车牌颜色蓝、绿、黄 self.plate_type plate_type # 车牌类型小型车、新能源等 self.confidence confidence # 置信度 0~1 self.detected_at None # 识别时间后面由系统赋值 def to_dict(self): 转成字典方便后续JSON序列化或写数据库 return { plate_no: self.plate_no, plate_color: self.plate_color, plate_type: self.plate_type, confidence: round(self.confidence, 4), detected_at: self.detected_at }逻辑说明to_dict方法把对象转成字典这一步是为了对接后端的JSON接口和MySQL写入。车牌颜色和类型不是简单字符串最好在系统里维护一个枚举表避免脏数据。比如颜色只允许蓝绿黄白四种类型只允许小型大型新能源三种在写入数据库前做一次校验。参数说明confidence保留4位小数是为了排序时精度够又不冗余。实际项目中我还会加一个source_image字段存原始图片路径排查识别错误时能回溯看原图这个细节对调试帮助巨大。4. 系统模块实现登录、后台、车牌管理页面的工程化细节4.1 登录模块与MD5加密论文第4章明确提到用户名密码用MD5加密这是毕业设计系统里最常见的写法。虽然MD5在安全强度上已经不够看但从教学和演示角度够用而且代码简洁import hashlib import mysql.connector def md5_encrypt(password): MD5加盐加密盐值固定为系统配置项 salt plate_system_2024 md5 hashlib.md5() md5.update((password salt).encode(utf-8)) return md5.hexdigest() def verify_login(username, password): conn mysql.connector.connect( hostlocalhost, userroot, passwordyourpassword, databaseplate_system ) cursor conn.cursor(dictionaryTrue) hashed_pwd md5_encrypt(password) # 参数化查询防止SQL注入 sql SELECT * FROM user WHERE yonghuming %s AND mima %s cursor.execute(sql, (username, hashed_pwd)) user cursor.fetchone() cursor.close() conn.close() return user逻辑说明加盐是必须的论文里只写了MD5但直接用明文MD5会被彩虹表秒破加一个固定盐值至少能挡住常见破解手段。查询用参数化而不是字符串拼接这是我在实际项目中踩过坑后养成的习惯——曾经用拼接SQL跑测试结果被一条引号输入直接打崩了。参数说明salt值在真实系统里应该放在配置文件而不是硬编码在代码里这里为了演示写死了。数据库连接参数也要抽出来后面每个模块都要用建议单独写一个db_config.py统一管理。4.2 车牌管理列表与查询论文5.6节描述的车牌管理页面本质就是一个带条件筛选的分页列表。功能不复杂但要注意分页查询的写法。我常用的SQL模板-- 车牌信息表设计 CREATE TABLE plate_info ( id INT AUTO_INCREMENT PRIMARY KEY, plate_no VARCHAR(20) NOT NULL COMMENT 车牌号码, plate_color VARCHAR(10) DEFAULT 蓝 COMMENT 车牌颜色, plate_type VARCHAR(10) DEFAULT 小型 COMMENT 车牌类型, province VARCHAR(20) COMMENT 归属地省份, image_path VARCHAR(255) COMMENT 车牌图片路径, recognized_time DATETIME COMMENT 识别时间, confidence DECIMAL(5,4) DEFAULT 0.0000 COMMENT 识别置信度 ) ENGINEInnoDB DEFAULT CHARSETutf8mb4; -- 分页查询第page页每页page_size条 SELECT id, plate_no, plate_color, plate_type, province, recognized_time, confidence FROM plate_info WHERE 11 AND (plate_no LIKE CONCAT(%, %s, %) OR %s ) AND (plate_color %s OR %s ) ORDER BY recognized_time DESC LIMIT %s OFFSET %s;逻辑说明WHERE 11不是废话它是为了方便动态拼接条件——当某个筛选项为空时对应的AND子句自动失效但SQL结构不变。CONCAT(%, %s, %)实现模糊查询搜索京A就能匹配所有北京车辆。OFFSET计算在代码里做offset (page - 1) * page_size。参数说明LIMIT %s OFFSET %s两个参数LIMIT是每页条数OFFSET是跳过多少条。page从1开始前端传过来后后端要先校验page不小于1防止负数导致SQL异常。plate_no的LIKE查询在有大量数据时会全表扫描但毕业设计数据量几百条完全不用考虑索引优化。4.3 统计分析页面的聚合查询统计分析页面论文描述是按不同车型蓝牌绿牌做数量统计用图表展示。这部分我直接用SQL的GROUP BY把聚合逻辑交给数据库而不是Python内存计算-- 按车牌颜色统计 SELECT plate_color, COUNT(*) AS cnt FROM plate_info GROUP BY plate_color ORDER BY cnt DESC; -- 按省份统计TOP10 SELECT province, COUNT(*) AS cnt FROM plate_info GROUP BY province ORDER BY cnt DESC LIMIT 10; -- 按识别日期统计每日识别量 SELECT DATE(recognized_time) AS day, COUNT(*) AS cnt FROM plate_info WHERE recognized_time DATE_SUB(CURDATE(), INTERVAL 30 DAY) GROUP BY DATE(recognized_time) ORDER BY day;逻辑说明这三条SQL覆盖了论文要的三个维度——车型颜色分布、地域分布、时间趋势。第一条直接给饼图用第二条给柱状图第三条给折线图。前端拿JSON数据后画图就行后端不需要额外计算。注意第三条的DATE_SUB(CURDATE(), INTERVAL 30 DAY)是查最近30天这个时间窗口参数应该做成前端可选的。参数说明GROUP BY字段必须出现在SELECT列表中除了聚合函数这是SQL标准强制要求DATE(recognized_time)把DATETIME转成DATE类型这样同一天的多条记录会归到一组。如果数据量大可以加索引在recognized_time字段上但小项目没必要。5. 避坑指南上手车牌识别时最容易翻车的六个问题搞车牌识别项目算法本身的困难还在其次真正让人崩溃的往往是环境、数据和边界情况。我把复现这个论文过程中踩过的坑列出来基本都是现象→原因→解决的完整链条。坑一YOLOv5训练loss降不下去精度一直在0.3徘徊现象训练了50个epoch验证集mAP0.5始终不到0.5检测出的车牌框位置偏得离谱。原因标注数据有问题。检查发现部分图片的标注框坐标越界了——归一化坐标算出来是负数或者大于1YOLOv5加载时静默丢弃了这些无效框导致有效训练样本比想象中少很多。另一个常见原因是标注框太小车牌在整张图中占比不到1%模型对小目标不敏感。解决写脚本批量检查所有txt标注文件凡是出现坐标小于0或大于1的整行删除。然后统计所有标注框的宽高分布如果大部分框的宽度小于图像宽度的10%就要考虑把输入分辨率从640提到960或者把图片里车牌区域裁剪放大后再训练。从那以后我每次标注完都强制跑一遍坐标合法性检查脚本不检查不训练。坑二蓝牌识别正常绿牌几乎全部漏检现象测试集里蓝牌识别率95%以上新能源绿牌识别率不到50%检测框要么框住半个车头要么直接没框。原因训练集里蓝牌图片占了90%以上绿牌样本太少模型没有见过足够的绿牌特征。绿色车牌的字符是黑色蓝牌是白色两者在图像通道上的响应完全不同。解决重新平衡数据集把绿牌样本补充到训练集的30%以上。如果找不到足够的绿牌图片可以用数据增强——把蓝牌图片的H通道色相旋转到绿色范围再配合亮度抖动生成伪绿牌样本。这个技巧能缓解样本不足但不能完全替代真实数据。坑三字符识别把0和O搞混B和8分不清现象车牌号京A0B123识别成京A0B123没问题但京B8S888经常会识别成京B8S888中间的8变成B或者反过来。原因这是字符识别阶段的经典问题。0和O在二值化后形状几乎一样B和8也高度相似单纯靠CNN特征无法稳定区分。论文中没有涉及这个层面的处理。解决加一层字符级后处理规则——车牌第二位是省份简称后的字母不可能是数字所以如果模型在第二位输出了0强制改成O车牌最后五位是数字加字母混合但不存在字母I和O避免与1和0混淆所以如果模型输出了I或O改成1或0。这套规则写死在后处理函数里能把整体准确率拉高3~5个百分点。坑四训练时显存直接OOM现象batch_size设成32跑第一个epoch就报CUDA out of memory显卡是GTX 1650 4GB。原因YOLOv5s虽然模型小但输入分辨率640x640时单张图的激活值占用也不小。4GB显存跑batch_size 32太勉强。解决把batch_size降到16或者8同时开启YOLOv5的--cache-ram参数把数据集缓存到内存而不是显存。还有一个偏方是改--workers从8降到2有时能减少显存碎片。如果是训练完做推理推理阶段batch_size可以直接设1没影响。坑五车牌倾斜超过15度就识别失败现象正对车牌拍的图片识别率很高但抓拍角度一偏检测框能框住车牌字符分割出来的却是歪的识别结果乱套。原因YOLOv5输出的是水平矩形框没有角度信息。车牌倾斜后水平框内包含了大量背景二值化后字符和背景混在一起投影分割完全失效。解决在分割前加一步透视矫正。用OpenCV检测车牌区域的四个角点计算仿射变换矩阵把倾斜区域拉正。具体操作是先用YOLOv5的框裁剪出车牌区域然后在这个小区域内找直线边缘四条边缘的交点就是角点。如果OpenCV的边缘检测不稳定还有一个取巧做法训练一个关键点检测模型输出四个角点坐标。但毕业设计的话尽量保证测试图片是正面拍摄论文里也是这个场景。坑六前端上传图片后后端识别接口超时现象用户点上传页面转圈十几秒才有结果体验很差。排查发现不是模型推理慢是图片太大——手机拍的照片动辄4K分辨率OpenCV读图和resize就要花好几秒。原因代码里直接把原始图传给模型做推理没有限制图片大小。YOLOv5内部虽然会resize但4K图读入内存、解码、转色彩空间这一步本身就耗时间。解决在上传接口的最前面加一道图片压缩逻辑超过1920宽的图片先等比缩放。这段思路是调用OpenCV的imdecode时直接设定目标尺寸不生成中间大图内存占用也降下来了。二次识别反而比一次识别慢这种事听起来像玄学实际就是少了入口处的尺寸限制。6. 验证与进阶把单张识别改造成批量识别服务论文里系统测试部分写得很简略实际验证不能只看一章。我的做法是准备20张不同场景的车牌图片——包括白天、傍晚、阴天、倾斜角度、蓝牌、绿牌——跑一遍完整流程统计两个指标检测漏检率和字符准确率。验证脚本如下import os import csv import time def batch_recognize(image_dir, output_csv): results [] total_start time.time() for img_name in sorted(os.listdir(image_dir)): img_path os.path.join(image_dir, img_name) start time.time() # 预处理 YOLOv5检测 字符分割 OCR识别 plate_info recognize_single_image(img_path) elapsed time.time() - start results.append({ image: img_name, plate_no: plate_info.plate_no, confidence: plate_info.confidence, time_ms: round(elapsed * 1000, 1) }) total_elapsed time.time() - total_start avg_time total_elapsed / len(results) print(f共识别{len(results)}张图片平均耗时{avg_time*1000:.1f}ms/张) # 导出CSV方便后续核对 with open(output_csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[image, plate_no, confidence, time_ms]) writer.writeheader() writer.writerows(results) if __name__ __main__: batch_recognize(test_images/, result.csv)逻辑说明这个脚本把整个系统收口成一个函数recognize_single_image它内部串联了第3章的预处理、检测、分割和识别流程。输出CSV有两个好处一是可以用Excel打开人工核对识别结果二是后续做准确率统计时有原始数据。平均单张耗时是硬指标如果超过1秒就要考虑优化如果是CPU推理2秒内都算正常。进阶方向我会做两件事。第一是把识别封装成Web服务用Flask写一个POST接口接收图片返回JSON格式的车牌信息这样前端页面和手机App都能调用。第二是把识别结果自动写入数据库的plate_info表打通从图片上传到数据落库的完整闭环。我一般不会在这里引入Redis或者消息队列对毕业设计来说全是过度设计但如果是真实系统识别接口的并发量上来后数据库写入确实需要异步化。从最初对着论文框架摸索到能一口气跑通检测、分割、识别、入库全流程中间被坑了无数次。印象最深的是第一次跑通完整流程时识别出一块模糊绿牌上的京AD12345那一刻觉得前面调数据的深夜都值了。从那以后我每次做类似的目标检测项目都强制走一遍同样的流程先查数据集平衡性再锁版本环境最后用小批量验证脚本跑通才动训练。希望这篇拆解能帮你少走几步弯路把这套系统的代码和文档真正变成自己能掌控的东西。本文还有配套的精品资源点击获取