做车牌识别项目的人应该都遇到过这种场景晴天测试集上准确率能到95%以上模型跑得飞起结果一到下雨天识别率直接断崖式下跌30%-40%的准确率都敢给你表演。我前期做停车场出入口的车牌识别优化时在这上面折腾了小半年最后用Python配合OpenCV把雨天场景下的一套识别流程从22%的准确率拉到了88%左右换算下来刚好是300%的提升。这5个技巧不是从论文里抄出来的理论而是我在真实雨天监控画面里一次次调参数调出来的实战经验今天完整拆开讲清楚。先说这篇内容适合谁手头有车牌识别需求、想改善现有识别管线在恶劣天气下表现的同学以及刚接触OpenCV图像处理、想搞懂预处理和后处理细节的新手朋友。我会把每个技巧背后的“为什么这么做”也一并讲透这样你拿去改自己的项目时思路可以通用。1. 雨天车牌识别为什么那么难很多人以为车牌识别难在算法模型真的把雨天的图拉出来看一遍你会发现问题根本不出在模型身上而是图像本身已经被雨天“糟蹋”得不像样了。1.1 雨天图像的五重退化雨天图像不是单一问题而是多重退化叠加在一起。我做优化之前先做了一轮图像质量问题拆解整理下来大概有五种典型退化亮度分布极不均匀。云层遮住阳光之后整体光照偏低而车牌表面又因为积水或反光局部出现高亮点。一张图里暗的地方看不清字符亮的地方白花花一片全局阈值根本没法处理。雨丝雨滴造成的局部遮挡。雨滴附着在镜头或者车牌表面直接把字符挡掉一截对后续字符分割影响极大。低对比度和颜色偏移。水的散射效应会让图像整体发灰、发雾蓝底和白字的边界被模糊颜色信息丢失严重。低速快门导致的运动模糊。雨天光线不足相机的曝光时间自动拉长车辆一移动车牌两侧的边缘就成了拖影。夜间车灯和湿地反光的炫光干扰。这基本是雨夜场景的“王炸”车灯迎面开过来时车牌区域经常过曝到一片白。这五种问题经常同时出现你如果只针对其中一种做处理其他四种依然能把识别流程搞崩。1.2 传统识别管线的卡点常规的识别流程大致是车牌定位、车牌矫正、字符分割、字符识别。每一环依赖上一环的输出前面哪怕只偏差几个像素后面字符分割就全乱套。我在雨天图像上跑过现成的开源检测模型定位框经常出现偏移把铆钉、“限”字甚至旁边的车灯都包了进去。再往下走字符分割就会多切或者漏切。所以关键思路是在进模型之前先把图像质量修好在定位之后再把候选框规则卡死。预处理和后处理两手抓识别率才能真正稳下来。2. 技巧一从源头抢救图像质量——光照归一化与去雨雾预处理先说结论预处理不是花架子它是整个优化里性价比最高的一环。我曾经试过不动预处理直接换更强的识别模型准确率只提升了不到5个百分点。后来把预处理这一层做扎实了同一个模型下准确率翻了倍。2.1 为什么全局直方图均衡不够用很多新手一开始会想到OpenCV里的cv2.equalizeHist()这方法在光线均匀的灰度图上效果还行但在雨天场景下几乎必崩。原因是它做的是全局对比度拉伸亮的地方和暗的地方用同一个变换结果就是亮的区域更曝暗的区域依旧黑成一片车牌字符的对比度反而被削弱。雨天图像真正需要的是局部对比度增强。我的首选是CLAHE对比度受限的自适应直方图均衡它对图像分块做直方图均衡同时对每一块的对比度拉伸幅度做了限制能避免噪声被过度放大。2.2 CLAHE 暗通道先验 自动白平衡的组合流程我实际使用的预处理流程分三步下面是一个比较稳定的OpenCV实现import cv2 import numpy as np def enhance_rainy_image(img): # 1. 自动白平衡用灰度世界假设矫正色偏 b, g, r cv2.split(img) avg_b, avg_g, avg_r np.mean(b), np.mean(g), np.mean(r) gray_avg (avg_b avg_g avg_r) / 3.0 b np.clip(b * (gray_avg / (avg_b 1e-6)), 0, 255).astype(np.uint8) g np.clip(g * (gray_avg / (avg_g 1e-6)), 0, 255).astype(np.uint8) r np.clip(r * (gray_avg / (avg_r 1e-6)), 0, 255).astype(np.uint8) img_wb cv2.merge([b, g, r]) # 2. 暗通道先验去雾 def dark_channel(img, size15): b, g, r cv2.split(img) min_channel cv2.min(cv2.min(b, g), r) kernel cv2.getStructuringElement(cv2.MORPH_RECT, (size, size)) return cv2.erode(min_channel, kernel) dark dark_channel(img_wb).astype(np.float32) / 255.0 img_f img_wb.astype(np.float32) / 255.0 # 简化版大气光估计 atmosphere np.percentile(dark[dark 0.001], 95) transmission 1 - 0.95 * dark / (atmosphere 1e-6) transmission np.clip(transmission, 0.1, 1) restored np.zeros_like(img_f) for i in range(3): restored[:, :, i] (img_f[:, :, i] - atmosphere) / np.maximum(transmission, 0.1) atmosphere img_dehaze np.clip(restored * 255, 0, 255).astype(np.uint8) # 3. CLAHE局部对比度增强 lab cv2.cvtColor(img_dehaze, cv2.COLOR_BGR2LAB) l_chan, a_chan, b_chan cv2.split(lab) clahe cv2.createCLAHE(clipLimit3.0, tileGridSize(8, 8)) l_enhanced clahe.apply(l_chan) lab_enhanced cv2.merge([l_enhanced, a_chan, b_chan]) return cv2.cvtColor(lab_enhanced, cv2.COLOR_LAB2BGR)这里三个步骤各有分工自动白平衡解决的是雨天水体导致的颜色偏移让蓝底白字的蓝色恢复到正常范围。暗通道先验Dark Channel Prior用来去雾。雨天的水雾让远景和近景都带一层灰蒙蒙的散射层暗通道先验通过统计每个局部区域的最小通道值来估计雾气浓度反推出“无雾”的图像。CLAHE做最后一步局部对比度增强把字符边缘从低对比度背景里拉出来。提示暗通道先验最怕的是大片纯色区域。车牌本身就是一块颜色很纯的蓝色底直接对整张图做暗通道去雾可能会让蓝色过饱和。所以我的做法是先对全图做一个轻量去雾而不是针对车牌区域单独处理这样既可以改善整体观感又不会把车牌的色度破坏掉。3. 技巧二多尺度图像增强把字符边缘从水雾里捞出来预处理做完之后图像整体已经干净了不少但字符边缘的锐度还不够。尤其是远距离抓拍的图片车牌的边缘信息在雨天雾化过程中衰减很厉害。这时候需要再做一轮多尺度增强。3.1 单尺度增强的局限性直接用cv2.filter2D()加一个拉普拉斯核做锐化效果在部分图上可以但在另一部分图上会产生很重的颗粒感边缘亮成一圈白线反而干扰字符分割。原因在于拉普拉斯算子的响应在边缘处是各向同性的雨天的噪声点也会被同步放大。更好用的是多尺度Retinex的思想。Retinex把图像看成光照分量和反射分量的乘积我们想要的是反射分量也就是物体本身的颜色和纹理。用不同尺度的高斯滤波估计光照再从原图中去掉光照就能在不同尺度上把细节捞回来。3.2 多尺度Retinex 拉普拉斯锐化的协同策略我在代码里把多尺度Retinex和轻量拉普拉斯锐化组合起来用def multi_scale_enhance(img): img_float img.astype(np.float32) 1.0 result np.zeros_like(img_float) scales [15, 80, 250] weights [1/3.0, 1/3.0, 1/3.0] for sigma, weight in zip(scales, weights): blur cv2.GaussianBlur(img_float, (0, 0), sigma) log_img np.log(img_float) log_blur np.log(blur) result weight * (log_img - log_blur) # 归一化到0-255 result (result - np.min(result)) / (np.max(result) - np.min(result) 1e-6) result (result * 255).astype(np.uint8) # 轻量拉普拉斯锐化 kernel np.array([[0, -1, 0], [-1, 5, -1], [0, -1, 0]], dtypenp.float32) sharp cv2.filter2D(result, -1, kernel) return sharp尺度参数选择了15、80、250三个值分别对应小细节、中等结构和整体光照。这个小尺度负责字符边缘和笔画细节中等尺度负责车牌边框结构大尺度负责全局光照补偿。三个尺度各占三分之一权重效果已经足够稳定。我个人不太建议把锐化权重调得太大否则字符边缘会出现一圈黑色的“描边”伪影分割时反而容易把相邻字符并在一起。正常情况下锐化后的图像肉眼看过去是干净的边缘不会出现明显振铃。4. 技巧三车牌定位的形态学与颜色联合策略车牌定位是整个管线里最容易被小觑的环节。很多人把精力花在后面的字符识别上却忽略了前面定位框只要偏上几个像素后面的识别模型看到的就完全是另一块区域。雨天场景下车牌区域有水渍、反光、泥点定位尤其容易抖动。4.1 为什么要做颜色空间转换传统的车牌定位大多靠灰度图上的边缘和形状特征。但雨天图像里车牌边框和车身之间的亮度差被水雾抹平了只靠亮度边缘很难把车牌找出来。这时候颜色信息就派上用场。中国车牌有蓝色底、黄色底、白色底、绿色底等几种颜色分布相对固定。我先在HSV空间里做一次色彩筛选把蓝色像素区域基本锁定然后再结合边缘和形态学操作。HSV相比RGB对光照变化更鲁棒色相H分量不会因为亮度下降而发生太大偏移。具体阈值我用的是hsv cv2.cvtColor(enhanced_img, cv2.COLOR_BGR2HSV) blue_mask cv2.inRange(hsv, (100, 60, 60), (124, 255, 255)) yellow_mask cv2.inRange(hsv, (15, 60, 60), (34, 255, 255)) mask cv2.bitwise_or(blue_mask, yellow_mask)蓝牌的H值大致落在100到124之间黄牌在15到34之间。雨天拍摄的图像饱和度会降低所以S和V的下限不能设得太高否则漏检率很高。我这组参数在雨天测试集上漏检率相对可控。4.2 边缘检测 形态学闭运算 轮廓筛选的完整链路颜色mask会包含车身贴纸、车灯等干扰区域接下来需要和边缘信息做融合gray cv2.cvtColor(enhanced_img, cv2.COLOR_BGR2GRAY) blur cv2.GaussianBlur(gray, (5, 5), 0) edges cv2.Canny(blur, 50, 150) # 颜色mask和边缘做“与”操作保留颜色边缘同时存在的区域 mask_edges cv2.bitwise_and(mask, edges) # 闭运算连接断裂的边缘片段 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (25, 7)) closed cv2.morphologyEx(mask_edges, cv2.MORPH_CLOSE, kernel) # 再开运算去掉零星的噪声点 kernel_open cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5)) opened cv2.morphologyEx(closed, cv2.MORPH_OPEN, kernel_open) contours, _ cv2.findContours(opened, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)闭运算使用的核是(25, 7)一个横向长、纵向短的矩形。因为车牌整体是横向结构字符之间的缝隙需要靠横向的延展去连接而纵向又不宜过度连接否则会把上下两条边框附近的干扰也并进来。这个核尺寸是我试出来的一个比较稳的值如果你抓拍的车牌较小可以适当缩小。4.3 轮廓筛选规则的参数化讲解找到轮廓之后需要设计一套筛选规则把真正的车牌候选框挑出来。我主要看四个指标宽高比标准车牌宽高比约为3.14:1到4.5:1之间。雨天车牌如果发生轻微旋转比例会有所偏差所以我放宽到2.5到5.0。面积占比候选框面积不能太小不能是全场图像面积的千分之一都不到。矩形度候选框的内部填充度。车牌内部有字符边缘轮廓相对规整计算轮廓面积和最小外接矩形面积的比值一般大于0.5才算合格。颜色占比在候选框内重新统计蓝色或黄色像素的比例至少超过10%。def is_plate_candidate(cnt, image_shape): x, y, w, h cv2.boundingRect(cnt) area w * h if area image_shape[0] * image_shape[1] * 0.0005: return False aspect_ratio w / max(h, 1e-6) if aspect_ratio 2.5 or aspect_ratio 5.0: return False rect_area cv2.contourArea(cnt) if rect_area / area 0.5: return False return True注意不要在轮廓筛选阶段把宽高比卡得太死。雨天图像里车牌经常有小角度倾斜最小外接矩形的宽高比和实际车牌的宽高比会有出入。我早期用了3.0到4.5的严格区间结果倾斜稍大一点的车牌直接漏检后来放宽到2.5到5.0召回率明显提升。5. 技巧四字符分割与识别的抗干扰处理车牌定位成功后接下来就是字符分割和识别。这一环的难点在于雨天车牌上经常有水渍、泥点和反光斑它们会让字符看起来像“多了一笔”或者“少了一笔”分割算法很容易被带偏。5.1 全局二值化的坑与局部自适应二值化常见的cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)在雨天场景下几乎不可用。因为雨天的光照不均匀车牌区域不同位置的亮度差异很大用同一个阈值切分暗处的字符会被切掉一部分亮处的背景又会残留白斑。替代方案是局部自适应阈值在OpenCV里对应cv2.adaptiveThreshold()。它的原理是对每个像素只和它邻域内的局部均值做比较光照不均匀的影响就被大大削弱了。gray_plate cv2.cvtColor(plate_crop, cv2.COLOR_BGR2GRAY) binary cv2.adaptiveThreshold( gray_plate, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 25, 10 )这里blockSize25和C10是我调得比较稳的参数。blockSize太小的话笔画内部容易被当成背景太大又起不到局部校正的作用。C值控制的是偏移量C太大时字符边缘会被腐蚀掉一圈C太小时噪声点又消不掉。5.2 字符粘连与断裂处理分割过程中最常见的两个问题就是字符粘连和字符断裂。粘连出现的原因通常是雨水把字符边缘的墨迹洇开了或者对比度增强过头导致两个字之间的缝隙被填满。我的处理方式是先对二值图做一次垂直方向的投影统计每列黑色像素的数量正常情况下字符之间的间隙位置投影值会有一个明显的低谷。如果两个字符间的低谷不明显就在低谷位置用一个腐蚀操作把粘连处断开一点。字符断裂则是另一个方向的问题。如果车牌表面有大量积水反光区域会直接把字符的中间一段“抹白”二值化之后字符断成上下两截。这种情况下贸然分割一截就会被认为是半个字符。我的处理方式是对每列投影做一次插值补全再配合形态学中的闭运算把断开的笔画重新连接。kernel_v cv2.getStructuringElement(cv2.MORPH_RECT, (2, 15)) closed_char cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel_v)这个(2, 15)的竖直接近核可以把同一字符内上下断开的笔画接起来又不会把相邻字符横向粘连到一起。方向的选择很关键接错方向就会把两个字符并成一个。5.3 识别环节的方案选择与成本取舍字符分割完成之后识别环节有两条路可以走传统模板匹配和深度模型。如果是实时性要求高的场景传统模板匹配其实足够用。把分割出来的字符归一化到模板尺寸然后和预先做好的字符模板数字、字母、汉字算相似度取最高分。模板匹配对字符的形变比较敏感所以分割质量直接决定识别效果这反而是对前面几步工作的一种检验。如果字符质量较差、角度变化大模板匹配会崩。这时候换一个轻量级的CNN分类模型更靠谱。我自己在项目中是先用模板匹配兜底遇到置信度不够的再送进CNN二次确认。这个策略既能保证大部分场景的低延迟又能解决雨天恶劣样本的识别问题。6. 技巧五数据增强与模型泛化让模型见过的雨天样本多起来模型在雨天上翻车说到底是因为训练集里雨天的样本太少了。如果模型在训练时已经见过大量雨天风格的图像它提取特征时就不会只依赖晴天条件下的边缘和颜色信息。所以数据增强是很有必要的。6.1 用OpenCV模拟雨天风格样本没有真实雨天数据集的时候可以用OpenCV在现有数据上人工合成雨天效果。我用过的最简单有效的一套增强组合是def simulate_rain(img): h, w img.shape[:2] # 随机亮度降低 brightness np.random.uniform(0.6, 0.9) img cv2.convertScaleAbs(img, alphabrightness, beta0) # 添加随机雨丝随机倾斜的线段 rain_mask np.zeros((h, w), dtypenp.uint8) num_drops np.random.randint(30, 80) for _ in range(num_drops): x1 np.random.randint(0, w) y1 np.random.randint(0, h) length np.random.randint(10, 30) angle np.random.uniform(-0.2, 0.2) x2 int(x1 length * angle) y2 int(y1 length) cv2.line(rain_mask, (x1, y1), (x2, y2), 255, 1) rain cv2.GaussianBlur(rain_mask, (3, 3), 0) img[rain 0] img[rain 0] * 0.5 150 * 0.5 # 添加随机高斯光斑模拟反光 for _ in range(np.random.randint(1, 4)): cx, cy np.random.randint(0, w), np.random.randint(0, h) radius np.random.randint(5, 20) overlay img.copy() overlay cv2.circle(overlay, (cx, cy), radius, (255, 255, 255), -1) img cv2.addWeighted(overlay, np.random.uniform(0.3, 0.6), img, 0.7, 0) return img这套增强主要模拟了三个东西光照变暗、雨丝遮挡、局部反光。实际用下来在合成样本上训练的模型对真实雨天的适应能力有明显提升虽然不如真实雨天数据效果好但胜在成本极低。6.2 光度畸变与几何畸变的组合策略除了模拟雨天的物理效果通用的光度畸变和几何畸变也要做足。光度畸变包括亮度、对比度、色调、饱和度的随机扰动几何畸变包括随机旋转、缩放、平移、错切。有一个容易被忽略的细节车牌识别的物体结构是有方向性的。随机旋转的角度不能太离谱如果训练时出现过大的旋转角度模型会认为车牌歪着也是正常的反而降低对正立车牌的判别置信度。我在项目中把旋转角度限制在正负5度以内因为真实抓拍场景中车牌在画面里的倾斜角度很少超过这个范围。6.3 评估指标的合理定义优化做完了怎么评价才算有效准确率不是唯一指标除了整体准确率还要关注两个东西漏检率和单字符错误率。漏检率衡量的是“该看到的车牌没看到”在停车场景中漏检比误检更致命。单字符错误率则能反馈分割和识别环节的问题我常用一组测试集来跑指标原方案优化后整体识别准确率22%88%车牌定位召回率61%94%单字符识别准确率47%91%平均处理耗时毫秒/张41ms63ms这份数据来自一个包含约800张雨天夜间混合场景的真实抓拍集合竖屏监控画面车牌最小宽度约90像素。优化后准确率提升约300%耗时虽然增加了但仍在实时处理的可接受范围内。7. 实战效果与踩坑记录技巧讲完了我再把实际优化过程中踩过的几个坑单拎出来说说。这些都是文档里很难查到、但真会影响结果的细节。7.1 预处理参数不是越强越好暗通道去雾的参数如果调过头图像的颜色会变得很“假”车牌蓝色底会变成深蓝色接近黑色字符和背景的对比度反而下降。我自己后来固定了一个原则先保证人脸看起来自然再谈算法效果。如果预处理输出图人眼看着都奇怪那模型一定也学不进去。CLAHE的clipLimit也要克制。我最初为了追求对比度把clipLimit调到8.0结果图像里的噪声颗粒全部被放大字符边缘毛糙不堪直接影响了后续的边缘定位。后来降到3.0效果反而更稳定。7.2 定位阶段宁可放宽也别收紧轮廓筛选阶段我吃过一次亏为了追求高精度把宽高比和矩形度的阈值都卡得很严结果测试集上一辆面包车的车牌因为有一点反光扭曲直接没找出来。定位阶段的首要目标是召回宁可多召回几个不是车牌的候选框让后面的分类器去判断也不能把真正的车牌漏掉。7.3 二值化参数要与字符宽度联动blockSize这个参数并不是固定的它应该跟着车牌字符的宽度走。如果车牌在画面里占得比较小字符宽度只有10个像素左右那blockSize用25就太大了会把字符和背景一起判断成同一个区域。我的建议是blockSize取字符宽度的1.5到2倍效果比较靠谱。7.4 常见问题速查表现象可能原因解决方案车牌区域整体偏暗字符看不清光照不足预处理不够提高CLAHE的clipLimit到3.5-4.0车牌蓝底泛白颜色失准白平衡没做或参数不对检查灰度世界假设是否被水雾干扰定位框偏移包含车灯或车标颜色mask过宽收紧HSV色相范围增加颜色占比判断字符分割后出现多余碎片泥点或雨丝干扰增加开运算去除小面积连通域字符上下分裂反光导致字符中间过曝使用纵向闭运算连接断裂笔画白天正常但雨天出错训练集缺少雨天样本用OpenCV模拟雨天增强再训练7.5 几个可以继续深挖的方向整套流程跑通之后我个人觉得还有几个方向可以继续往下做。一个是运动模糊的去除雨天低照度下快门变慢这个问题的本质是图像复原目前我只做了轻量的维纳滤波效果一般后期考虑引入更复杂的去模糊网络。另一个是夜间灯光的炫光抑制这个问题的本质是高动态范围恢复单纯靠OpenCV的传统方法很难完美解决可以考虑多帧融合的思路。最后再分享一个小技巧不管你的算法调得多好到了新场景一定要重新采集一批现场数据再调一次参数。每个摄像头的安装角度、高度、雨棚遮挡情况都不一样拿A停车场的参数直接去跑B停车场大概率还是会翻车。算法只是把下限兜住真正决定上限的还是对场景的理解和对应的参数适配。我实际做项目的体会是雨天车牌识别没有一步到位的银弹它更像是一个系统工程从图像采集到预处理、定位、分割、识别每一环都要单独打磨还要容忍它们之间的误差传播。只要思路对了哪怕只优化其中一两环最终的效果也能肉眼可见地往上走。