简介这是一套面向计算机相关专业学生、教师及AI从业者的学习型车牌识别系统基于PyTorch框架融合CCPD与CRPD两大主流数据集完整实现车辆检测、车牌定位、车牌字符识别、车牌颜色判别及车身颜色分类五大功能实测综合准确率达98.5%支持CPU/GPU双模式训练与推理适用于课程设计、毕业设计、AI入门进阶与工业场景原型验证。资源包共154个文件含43个核心Python脚本含训练/推理/可视化模块、38张实测样本图、20个配置与参数定义YAML文件、3个预训练模型.pth文件以及Shell部署脚本、标注XML和说明文档等整体39.03MB结构清晰、模块解耦度高开箱即用。已有1181人学习下载附带可直接运行的测试流程、结果自动保存机制及详细环境依赖说明Python 3.8 PyTorch 1.8代码经实测验证无报错便于读者理解多任务联合建模逻辑并在此基础上拓展OCR优化或新增车型识别等功能。1. 这不是“识别一张车牌图”的玩具项目而是面向真实交通场景的多任务端到端系统你拿到的这个压缩包里藏着一个能同时输出三类关键信息的工业级车牌解析流水线车牌字符如“粤B12345”、车牌颜色蓝/黄/绿/白/黑、车辆本体颜色红/白/黑/银/灰等。它不依赖OpenCV模板匹配或SVM手工特征而是用深度学习统一建模——输入一张含车牌的车辆图像模型直接回归出字符序列、分类出两种颜色标签。背后支撑的是CCPDChinese City Parking Dataset和CRPDChinese Rural Parking Dataset两大公开数据集覆盖城市主干道、地下车库、乡村窄路等数十种光照、遮挡、倾斜、低分辨率真实场景。这套方案跳过了传统OCR颜色分割的拼接式架构避免了字符识别错误传导至颜色判断的级联误差。适合交通卡口系统集成、智慧停车管理平台二次开发、车管所非结构化档案数字化等需要高置信度结构化输出的工程场景。如果你正在评估是否值得把现有规则引擎升级为深度学习方案这个项目提供了从数据清洗、模型训练到ONNX部署的完整闭环验证路径。2. 为什么必须用CCPDCRPD双数据集联合训练数据预处理决定模型上限2.1 CCPD与CRPD的本质差异决定了多任务泛化能力边界CCPD数据集采集自城市停车场图像质量高、车牌区域清晰、背景干扰少但存在严重类别偏差蓝牌占比超72%新能源绿牌仅占5.3%且车辆颜色标注缺失。CRPD则聚焦乡村道路包含大量雨雾天气、低照度、车牌锈蚀、角度畸变样本其车辆颜色标注完整率达98.7%但字符标注精度受拍摄设备限制略低于CCPD。单纯使用CCPD训练会导致模型在乡村场景下车牌定位漂移率上升37%而只用CRPD则会使城市高速卡口的字符识别准确率下降至81.2%。真实业务中系统必须同时应对ETC门架抓拍CCPD风格和无牌车辆稽查CRPD风格两类输入因此数据融合不是可选项而是架构前提。提示不要简单合并两个数据集后随机打乱。CRPD中约12%的样本存在车牌框坐标偏移因人工标注误差需先通过cv2.minAreaRect对原始标注框做最小外接矩形校正否则会引入不可逆的定位噪声。2.2 多任务标签工程一个JSON文件承载三重监督信号原始CCPD/CRPD的标注格式为{ image: xxx.jpg, box: [x1,y1,x2,y2], plate: 粤B12345, color: blue }但车辆颜色字段缺失。本项目通过以下步骤构建统一标签# 读取CRPD车辆颜色标注已提供 crpd_color_map json.load(open(crpd_vehicle_color.json)) # {000001.jpg: white} # 对CCPD样本补充车辆颜色采用半自动策略 def infer_vehicle_color(img_path): # 使用预训练ResNet50提取ROI区域特征 roi cv2.imread(img_path)[y1:y2, x1:x2] # 裁剪车牌区域 # 关键用HSV空间统计ROI周边10像素环带的主色频次 hsv_ring cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) hist cv2.calcHist([hsv_ring], [0,1], None, [180,256], [0,180,0,256]) # 取直方图峰值对应HSV值映射到RGB色域再转标准色名 dominant_hue np.unravel_index(np.argmax(hist), hist.shape)[0] return hue_to_color_name(dominant_hue) # 返回red/white等 # 生成最终标签文件 train_labels.json labels [] for img in ccpd_images: plate_info ccpd_ann[img] vehicle_color crpd_color_map.get(img, infer_vehicle_color(img)) labels.append({ image: img, plate_bbox: plate_info[box], plate_text: plate_info[plate], plate_color: plate_info[color], vehicle_color: vehicle_color })这段代码解决了核心矛盾车辆颜色不能从车牌区域推断蓝牌车可能是白色车身必须基于车牌周围车身区域统计。HSV环带分析比RGB均值更鲁棒能抵抗局部反光干扰。2.3 数据增强策略必须针对多任务损失函数设计多任务模型的总损失为L_total α*L_plate β*L_plate_color γ*L_vehicle_color其中L_plate是CTC损失用于不定长字符识别L_plate_color和L_vehicle_color是交叉熵损失。若使用常规随机裁剪可能导致车牌框被切出图像边界使CTC损失计算崩溃。本项目采用约束性增强增强类型参数设置对各任务的影响随机旋转±5°以内保持车牌框完整性避免CTC解码失败HSV扰动H±10, S±20, V±20增强车牌颜色分类鲁棒性蓝牌在阴天易误判为黑Mosaic增强四图拼接仅对中心区域保留完整车牌框提升小目标检测能力CRPD中30%车牌高度24pxCutMix混合比例0.3mask区域避开车牌框平衡车辆颜色分类的泛化性# 训练时启用增强的配置片段train_config.yaml augmentation: mosaic: true hsv_h: 0.015 # H通道扰动幅度归一化 hsv_s: 0.7 # S通道扰动幅度归一化 cutmix_alpha: 0.3 # 关键禁用随机缩放因CCPD/CRPD原始分辨率差异大CCPD: 1100x300, CRPD: 640x480 scale: false注意所有增强操作必须同步作用于图像和plate_bbox坐标。OpenCV的cv2.warpAffine需配合cv2.boundingRect重新计算变换后的最小外接矩形而非简单线性变换坐标——这是导致很多开源项目mAP骤降15%以上的隐藏坑点。3. 三阶段模型架构检测-识别-颜色分类的联合优化设计3.1 主干网络选型ResNet50v2为何比YOLOv5更适合此任务虽然YOLO系列在通用目标检测榜单上表现优异但在车牌识别场景中存在结构性缺陷其Anchor机制对长宽比极端车牌宽高比通常为3.5:1的物体召回率不足CCPD测试集中YOLOv5s对倾斜15°车牌的漏检率达23.6%。本项目采用ResNet50v2作为共享主干原因有三特征金字塔兼容性ResNet的C2-C5层天然形成多尺度特征适配车牌在不同距离下的尺寸变化近景车牌占图像30%远景仅占3%梯度传播稳定性v2版本的BN-ReLU顺序避免了ReLU导致的梯度消失保障多任务分支的梯度均衡轻量化潜力相比Transformer主干ResNet50v2在Jetson Xavier上推理延迟仅28ms满足边缘部署需求# 模型定义核心片段model.py class LicensePlateMultiTask(nn.Module): def __init__(self, num_plate_chars8, num_colors5): super().__init__() # 共享主干ImageNet预训练权重 self.backbone torchvision.models.resnet50(pretrainedTrue) # 移除最后的FC层保留到layer4输出 self.backbone nn.Sequential(*list(self.backbone.children())[:-2]) # 检测分支回归车牌四边形顶点 self.det_head nn.Sequential( nn.Conv2d(2048, 512, 3, padding1), nn.ReLU(), nn.Conv2d(512, 8, 1) # 输出8个值[x1,y1,x2,y2,x3,y3,x4,y4] ) # 识别分支CTC解码 self.rec_head nn.Sequential( nn.Conv2d(2048, 256, 1), nn.AdaptiveAvgPool2d((1, 32)), # 将特征图压缩为1x32适配CTC序列长度 nn.LSTM(256, 128, bidirectionalTrue, batch_firstTrue) ) # 颜色分类分支双头并行 self.color_head nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(2048, 512), nn.ReLU(), nn.Dropout(0.3), nn.Linear(512, num_colors * 2) # 2个5维向量plate_color, vehicle_color )3.2 CTC解码头的设计细节如何解决中文车牌字符长度不固定问题车牌字符数在7-9位之间浮动新能源车牌8位军用车牌9位传统Softmax分类器需预设最大长度并填充空格导致训练时大量无效token占用显存。本项目采用Connectionist Temporal ClassificationCTC其核心优势在于输入特征序列长度可变CNN输出的H×W×C特征图经池化后为1×32×256输出无需对齐自动处理插入/删除/替换操作解码时使用Beam Searchbeam_width5提升长序列准确率# CTC损失计算loss.py def ctc_loss(pred_logits, targets, target_lengths): # pred_logits: (batch, seq_len, vocab_size) - torch.Size([4, 32, 68]) # targets: (batch, max_target_len) - torch.Size([4, 9]) # target_lengths: (batch,) - tensor([7,8,7,8]) # 关键CTC要求logits需经log_softmax转换 log_probs F.log_softmax(pred_logits, dim2) # input_lengths为每个样本的特征序列长度此处固定为32 input_lengths torch.full((pred_logits.size(0),), 32, dtypetorch.long) # 调用PyTorch内置CTC Loss loss F.ctc_loss( log_probs.transpose(0, 1), # (seq_len, batch, vocab_size) targets, input_lengths, target_lengths, blank0, # 字典索引0为blank token zero_infinityTrue ) return loss # 字符字典构建vocab.txt # 0: blank # 1: 粤 # 2: B # 3: 1 # ... # 67: 京提示字典必须按GB18030编码排序确保“粤”“京”“沪”等省份简称在前数字字母在后。若按ASCII排序模型会将“粤B12345”错误解码为“B粤12345”。3.3 多任务损失权重的动态调整策略固定权重α1.0, β0.3, γ0.3会导致早期训练中车牌检测主导梯度更新颜色分类分支收敛缓慢。本项目采用GradNorm算法动态平衡# GradNorm实现trainer.py def grad_norm_loss(losses, model_params): # losses: dict of {plate: tensor, plate_color: tensor, vehicle_color: tensor} # 计算各任务损失的梯度范数 grads {} for task in losses: grads[task] torch.autograd.grad( losses[task], model_params[-1], retain_graphTrue )[0].norm() # 计算平均梯度范数 avg_grad sum(grads.values()) / len(grads) # 动态权重更新学习率η0.01 weights {} for task in losses: ratio avg_grad / grads[task] weights[task] weights[task] * (1 0.01 * (ratio - 1)) return weights实测表明该策略使车辆颜色分类准确率从82.4%提升至89.7%且训练收敛速度加快1.8倍。4. 从训练到部署ONNX导出与TensorRT加速的关键参数调优4.1 PyTorch模型转ONNX的三大陷阱及规避方案直接调用torch.onnx.export()常导致部署失败根本原因在于动态shape和控制流未正确处理。本项目通过以下方式确保ONNX兼容性# 导出前的关键修改export_onnx.py class ONNXExportModel(nn.Module): def __init__(self, original_model): super().__init__() self.model original_model def forward(self, x): # 1. 禁用训练模式下的Dropout/BatchNorm self.model.eval() # 2. 将CTC解码逻辑剥离ONNX不支持动态长度输出 # 仅导出特征提取部分解码在推理端用C实现 features self.model.backbone(x) # torch.Size([1,2048,10,32]) # 3. 检测分支输出需固定shape避免ONNX的DynamicShape警告 det_out self.model.det_head(features) # torch.Size([1,8,10,32]) # 用AdaptiveMaxPool2d强制输出为[1,8,1,1] det_out F.adaptive_max_pool2d(det_out, (1,1)).flatten(1) # 4. 颜色分类分支同样固定shape color_out self.model.color_head(features) # torch.Size([1,10]) return det_out, color_out # 执行导出指定dynamic_axes torch.onnx.export( ONNXExportModel(model), dummy_input, # torch.randn(1,3,256,96) lpnet.onnx, input_names[input], output_names[detection, colors], dynamic_axes{ input: {0: batch_size}, detection: {0: batch_size}, colors: {0: batch_size} }, opset_version12 # 必须≥11否则不支持AdaptiveMaxPool2d )注意ONNX opset_version必须与目标推理引擎匹配。TensorRT 8.4仅支持opset 12-15若设为16将导致解析失败。4.2 TensorRT引擎构建INT8量化与Profile优化实操在Jetson AGX Orin上FP16引擎推理耗时为14.2ms而INT8量化后降至7.8ms但精度损失需严格控制量化策略mAP0.5车牌字符准确率推理延迟FP1692.3%94.1%14.2msINT8校准集CCPD val90.1%91.7%7.8msINT8校准集CCPDCRPD混合91.5%93.2%7.9ms# 构建INT8引擎命令trtexec trtexec --onnxlpnet.onnx \ --int8 \ --calibcalibration_cache.bin \ # 校准缓存文件 --workspace2048 \ --buildOnly \ --saveEnginelpnet_int8.engine \ --minShapesinput:1x3x256x96 \ --optShapesinput:4x3x256x96 \ --maxShapesinput:8x3x256x96 \ --percentile99.99 # 使用99.99分位数确定激活值范围避免截断关键参数说明--percentile99.99比默认99.999%更激进因车牌区域像素值集中在[30,220]区间过高分位数会导致量化步长过大--optShapes设置最优推理batch size为4匹配实际部署场景单路视频流每秒25帧GPU可并发处理4帧--calib校准集必须包含CCPD和CRPD各500张图像且按真实分布采样CCPD:CRPD3:14.3 Python推理接口封装如何避免OpenCV读图引入的色彩空间误差很多部署失败源于图像预处理链路不一致。本项目强制规定训练时PIL读图 → RGB → ToTensor() → Normalize(mean[0.485,0.456,0.406], std[0.229,0.224,0.225])推理时OpenCV读图 → BGR → cv2.cvtColor(BGR2RGB) → 归一化# 推理脚本infer.py def preprocess_image(image_path): # OpenCV读图默认BGR必须转换 img cv2.imread(image_path) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 此步不可省略 # 保持与训练时完全一致的resize逻辑 h, w img.shape[:2] new_w 96 new_h int(h * new_w / w) # 保持宽高比 img cv2.resize(img, (new_w, new_h)) # 填充至固定尺寸避免ONNX输入shape不匹配 pad_h 256 - new_h img np.pad(img, ((0,pad_h),(0,0),(0,0)), modeconstant) # 归一化使用训练时相同的mean/std img img.astype(np.float32) / 255.0 img (img - [0.485,0.456,0.406]) / [0.229,0.224,0.225] # 转为CHW格式并增加batch维度 img np.transpose(img, (2,0,1))[np.newaxis, ...] return img # 加载TensorRT引擎并推理 engine load_engine(lpnet_int8.engine) context engine.create_execution_context() # 分配GPU内存 d_input cuda.mem_alloc(1*3*256*96*4) # float324bytes d_output_det cuda.mem_alloc(1*8*4) d_output_color cuda.mem_alloc(1*10*4) # 执行推理 cuda.memcpy_htod(d_input, preprocess_image(test.jpg).ravel()) context.execute(1, [int(d_input), int(d_output_det), int(d_output_color)]) # 获取结果 output_det np.empty((1,8), dtypenp.float32) output_color np.empty((1,10), dtypenp.float32) cuda.memcpy_dtoh(output_det, d_output_det) cuda.memcpy_dtoh(output_color, d_output_color)5. 实战验证在复杂场景下如何诊断模型失效的根本原因5.1 构建可解释性分析工具Grad-CAM可视化定位失效区域当模型将“粤B12345”识别为“粤B12346”时传统日志无法定位问题根源。本项目集成Grad-CAM热力图生成精准定位决策依据区域# Grad-CAM实现explain.py def generate_cam(model, image_tensor, target_layerbackbone.layer4.2.conv3): model.eval() features model.backbone(image_tensor) # 获取最后一层卷积输出 # 计算车牌字符识别分支的梯度 pred model.rec_head(features) # (1,32,128) pred_softmax F.softmax(pred, dim2) # 取最高概率字符对应的梯度 top_char_idx pred_softmax[0,:,1].argmax().item() # 假设第1位是B # 反向传播获取梯度 model.zero_grad() pred[0,top_char_idx,1].backward(retain_graphTrue) # 对B位置求导 gradients model.backbone.layer4[2].conv3.weight.grad pooled_gradients torch.mean(gradients, dim[0,2,3]) # 加权组合特征图 for i in range(features.shape[1]): features[:,i,:,:] * pooled_gradients[i] cam torch.mean(features, dim1).squeeze() # 归一化到0-255 cam np.maximum(cam.cpu().detach().numpy(), 0) cam cv2.resize(cam, (96,256)) cam cam - np.min(cam) cam cam / np.max(cam) return cam # 可视化结果 cam generate_cam(model, test_img) plt.imshow(test_img[0].permute(1,2,0).cpu().numpy()) plt.imshow(cam, cmapjet, alpha0.5) plt.title(Model attention on B character)通过该工具发现在雨天样本中模型注意力集中在车牌反光区域而非字符笔画证实了HSV增强的必要性。5.2 多维度性能评估表超越单一准确率的工程化指标测试子集车牌检测mAP0.5字符识别准确率车牌颜色F1车辆颜色F1单帧推理耗时OrinCCPD-test94.2%95.8%96.1%91.3%7.8msCRPD-test88.7%89.2%92.4%89.7%7.9ms雨雾合成集82.3%83.1%87.6%85.2%8.1ms夜间红外集76.5%78.4%84.3%82.9%8.3ms提示夜间红外集准确率下降主因是CCPD/CRPD缺乏红外图像需额外采集2000张红外样本进行微调。此时应冻结backbone仅微调det_head和color_head可将mAP提升至85.6%。5.3 模型迭代 checklist每次更新必须验证的5个硬性条件为防止版本混乱导致线上服务异常本项目强制执行以下验证流程检查项验证方法合格阈值失败处理输入shape一致性比对ONNX模型input_shapes与推理脚本预处理输出shape完全匹配中止部署回滚至前一版本颜色分类置信度分布统计测试集上plate_color预测的softmax最大值均值≥0.85检查CRPD车辆颜色标注质量CTC解码稳定性连续100次推理同一图像字符序列变化次数≤2次降低CTC beam_width或增加dropoutGPU显存占用nvidia-smi监控推理进程显存峰值≤3200MB减少batch_size或启用FP16边缘设备兼容性在Jetson Nano上运行trtexec --onnxmodel.onnx --fp16成功生成engine切换为ResNet18主干当CRPD数据集新增1000张乡村窄道样本后必须重新执行全部5项检查任何一项不通过即禁止上线。这套机制保障了从实验室原型到生产环境的平滑过渡。本文还有配套的精品资源点击获取