简介面向PDF与PNG格式图纸内容识别与分类的Python入门实现适合熟悉Python的工程技术人群用于自动化获取图纸中的关键元素支撑施工图审查、档案数字化等场景。方案基于PyMuPDF、OpenCV与Tesseract OCR搭建PDF被逐页渲染为图像统一经灰度化后做文字识别并按图符类、沟槽和线缆类、表格类给出分类框架。包体为1个docx文档仅15KB内含可直接运行的代码示例、依赖安装命令、函数逻辑说明及注意事项便于读者对照修改。已有130人学习下载。内容虽属入门级简易版但明确指出了向生产环境迁移所需补充的技术栈如目标检测模型、结构化表格提取等可作为图纸识别类项目的前期验证与教学参考。1. 图纸识别为什么不能只靠OCR从PDF与PNG分类任务说起拿到一批PDF和PNG格式的工程图纸要求把图幅内容自动分成图符、沟槽线缆、表格三类还要提取位置、方向、形状、颜色、起终点这些字段。很多入门代码把OCR当作唯一入口最终只得到一串没有坐标关系的文本图符是否在某个区域、线缆从哪开始到哪结束完全没有着落。PyMuPDF负责把PDF页面栅格化成图像OpenCV负责预处理和图形特征提取Tesseract负责把文字信息从图像里抠出来三个库组合才勉强构成“内容识别分类”的完整管线。下面从选型原理讲到代码实现再讨论生产环境的精度改进适合做图纸归档、施工图自动审查、档案数字化和工业绘图识别产品的Python工程师。2. 图纸识别管线的选型与原理OpenCV、Tesseract、PyMuPDF各自解决什么问题2.1 PDF为什么先转图像再识别PyMuPDF的页面栅格化原理PDF图纸分两类一种由CAD导出页面元素是矢量路径另一种是扫描存档整个页面就是位图。矢量PDF理论上可以用pdfminer.six直接读文字但工程图里大量信息在块属性、标注样式、嵌入字体里直接抽取经常丢坐标或拿到乱码。更关键的是图纸分类需要把文字和图形放在同一坐标系里判断关系把PDF页渲染成图像文字和图形就统一成像素后面OpenCV才能统一处理。所以我的习惯是不管PDF内部是什么一律先栅格化再走图像管线。PyMuPDF的get_pixmap是栅格化的核心。它的Matrix参数控制渲染倍率zoom2表示把页面横向和纵向各放大2倍输出图像的宽高等于原页面尺寸乘以缩放系数。默认72dpi渲染A2图纸时很小的尺寸标注几乎看不清OCR准确率会跌破可用线。我把zoom设到3.0之后Tesseract的中文数字识别率明显回升。下面是稳定可用的PDF页转图像代码。import fitz import cv2 import numpy as np def pdf_page_to_cv_image(page, zoom3.0): mat fitz.Matrix(zoom, zoom) pix page.get_pixmap(matrixmat, alphaFalse) img cv2.imdecode( np.frombuffer(pix.tobytes(png), dtypenp.uint8), cv2.IMREAD_COLOR ) return imgMatrix(zoom, zoom)只控制缩放不直接接收像素宽高。alphaFalse很关键透明通道在后续cvtColor时会让通道数变3或4容易报出通道不匹配的错误。pix.tobytes(png)把渲染结果编码成PNG字节流cv2.imdecode直接解析成OpenCV的BGR数组省去了写临时文件再读回的磁盘开销。在服务器上批量处理几百份PDF时这个细节能明显减少IO等待。2.2 OpenCV预处理在OCR前的真实作用灰度与降噪不是形式主义灰度化是降低数据维度的过程。原图是BGR三通道文字、图框、填充色块混合在一起而Tesseract识别只需要亮度信息。直接转灰度时红色的“停止”标注和黑色的尺寸数字如果亮度接近就会被埋没。所以我在灰度后加高斯滤波把扫描件的颗粒噪点磨平再用自适应阈值把图像压成黑白二值。下面的预处理函数是我在图纸项目里的常用参数。import cv2 def preprocess_for_ocr(gray): blurred cv2.GaussianBlur(gray, (5, 5), 0) binary cv2.adaptiveThreshold( blurred, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 31, 10 ) return binaryGaussianBlur核大小用(5,5)适合常见的200dpi扫描图。核太大时文字笔画边界被抹掉OCR反而下降。adaptiveThreshold的第五个参数31是相邻像素窗口大小窗口越小越能保留局部亮暗变化但会把大号文字拆成断笔画第六个参数10是给阈值加的偏移量偏移越大二值化后黑色区域越大。我把这两个参数理解成一对开关字符细就增大窗口、减小偏移字符粗就反过来。调的时候先打印几张中间结果比盲改参数快得多。2.3 Tesseract的识别边界工程图文字识别与常规文档的不同Tesseract强在连续文本行识别弱在随机排布的短标注。工程图纸上的文字不是文章的句子而是“接线端子A”“3×25”这种孤立词组还经常旋转90度或沿斜线排列。image_to_string默认按从左到右、从上到下的顺序输出整页文本这种行序假设在图纸上基本不成立。我后来改用image_to_data拿每个词的坐标和置信度把文本从“一行流”变成“可定位的词集合”。需要说明的是Tesseract对图形边缘非常敏感图元轮廓经常被当成字符笔画输出带一圈无意义的符号。解决方法是利用置信度字段过滤低于30的一般是图形噪声。对中文图纸必须加载chi_sim语言包否则所有中文标注都会变成乱码。下表总结了这条管线里三个库的分工我写代码时经常对照它检查环节有没有漏。库在管线中的角色常用接口关键输出PyMuPDFPDF页面栅格化get_pixmapOpenCV图像OpenCV图像预处理与图形特征提取cvtColor、adaptiveThreshold、findContours二值图、轮廓、线段Tesseract文字识别与文本定位image_to_data词内容、坐标、置信度3. 搭建一个能跑通的图纸识别分类框架从PNG到PDF全流程实现3.1 环境准备与Tesseract的系统依赖先安装Python库pip install pytesseract opencv-python PyMuPDF numpy其中pytesseract是Tesseract的Python封装真正执行OCR的是系统二进制文件。Windows下安装Tesseract后要确认安装路径并设置tesseract_cmd变量。如果安装时没有勾选Additional language data中文图纸的识别结果会是星号和方块。Ubuntu下常见做法是sudo apt install tesseract-ocr tesseract-ocr-chi-sim。设好路径后建议运行一段识别测试确认pytesseract.get_languages(config)里出现了chi_sim再往下写业务逻辑。3.2 PNG处理函数读取、灰度化、调用识别PNG输入的处理相对直接。要注意的是部分PNG带透明通道如果只用cv2.imread不做处理cvtColor会报出通道数不匹配的错误。我用cv2.imread(file_path, cv2.IMREAD_COLOR)强制转成三通道BGR这样alpha信息被丢弃。下面是一个完整的PNG识别入口。import cv2 import pytesseract def process_png(file_path): img cv2.imread(file_path, cv2.IMREAD_COLOR) if img is None: raise FileNotFoundError(fCannot decode: {file_path}) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) binary preprocess_for_ocr(gray) words extract_text_with_boxes(binary) return classify_words(words)cv2.IMREAD_COLOR是默认值但刻意写出来能让代码意图更清楚。imread返回None时直接抛异常而不是留到后面触发一个更隐蔽的错误。preprocess_for_ocr使用2.2节的函数extract_text_with_boxes从Tesseract拿词级坐标classify_words把词按规则归入三类。这里的调用顺序是单向的读图—预处理—OCR—分类每一阶段的输出格式都是下一阶段的输入方便在任意中间步骤插入调试窗口。3.3 PDF多页处理逐页栅格化并合并结果PDF处理要把每一页都当作一张独立的图并且保留页码信息。之前看到有的代码把全部页的识别文本倒进一个大列表分类后完全不知道内容在哪一页后续回溯图元时几乎没法用。我一般用字典结构保存按页分类的结果键就是页码。import fitz import cv2 import numpy as np def process_pdf(file_path): doc fitz.open(file_path) results {} try: for page_num in range(len(doc)): page doc[page_num] img pdf_page_to_cv_image(page, zoom3.0) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) binary preprocess_for_ocr(gray) words extract_text_with_boxes(binary) results[page_num] classify_words(words, page_numpage_num) finally: doc.close() return resultsdoc.close()放在finally里避免异常时文件句柄泄露。pdf_page_to_cv_image是2.1节的函数复用后这里代码很短。处理多页PDF时我建议一次只open一个文件处理完立刻关闭避免同时占用大量内存。zoom3.0会把A1页面渲染成接近四千像素宽的大图OCR耗时明显增加如果图纸里文字较大可以先用zoom2.0试跑一页对比识别结果再决定。3.4 分类策略的初步实现关键词规则为什么简单但有用原始关键词分类虽然简陋却很符合工程图纸的一个特性大多数图纸有图例区图例区把“图符”“沟槽”“线缆”“表格”等词与示例图形并列排放。在入门阶段先按关键词把文本行归拢能快速知道图纸里有没有这三类内容。真正的生产实现不会停在关键词但它能让项目在第一天就跑通拿到可视化结果。我用词级OCR结果替代整行文本分类时保留坐标图符类的词往往在图例的色块旁边线缆类的词在折线标签处表格类的词在表头单元格内。分类函数可以这样写def classify_words(words, page_num0): categories { 图符类: [], 沟槽和线缆类: [], 表格类: [] } keywords { 图符类: [图符, 符号, 图例], 沟槽和线缆类: [沟槽, 线缆, 电缆, 穿线], 表格类: [表头, 表格, 明细, 材料表] } for w in words: for category, kw_list in keywords.items(): if any(kw in w[text] for kw in kw_list): w[page] page_num categories[category].append(w) break return categorieskeywords字典把类别映射到一组触发词比原代码里单个if分支更容易维护。any()只要命中一个关键词就归类使用break跳出内层循环确保一条文本只落在第一个匹配的类别里避免重复计数。但这套策略成立的前提是OCR结果里确实有这些词如果图纸把图符叫“图块”关键词列表就要扩充。我在实际项目中会把图纸图例区域的文字全部拉出来手工分析出现频率再决定关键词表。4. 图纸内容分类的精度瓶颈与改进路线从关键词到目标检测与表格结构还原4.1 现有代码的局限分类只发生在OCR后的文本层原方案把任务简化成了“识别文字并给文字贴标签”但任务描述里明确要求输出位置、方向、形状、颜色、起点、终点、表头。这些字段在图像上不在OCR输出的文本里。比如沟槽线缆的起点和终点是折线的两个端点坐标OCR根本看不到图符的颜色是像素块的HSV值OCR也不关心表格的表头信息是单元格的矩形结构OCR给了文字但没有结构。所以文本分类只是半成品它解决了“有没有”的问题没有解决“在哪里”“长什么样”的问题。这个阶段最怕的事是盲目上深度学习。模型训练需要标注数据、GPU环境和迭代时间如果连传统视觉在样本上的误差分布都不知道训练出来的模型往往会过拟合到标注样本的特定线宽和字体上。我的习惯是先用OpenCV把几何属性提取出来把每一类目标在样本上的召回率统计清楚再决定哪些环节必须换模型。4.2 形状、位置、颜色信息怎么补用OpenCV轮廓与颜色过滤提取图符属性图符类最常见的形态是带填充色的矩形、圆形、三角形旁边带一个字母编号。用OpenCV做颜色分割加轮廓检测流程是把BGR转到HSV空间用cv2.inRange按颜色区间取掩膜再找轮廓最后用cv2.boundingRect拿到外接矩形。import cv2 import numpy as np def detect_symbols_by_color(bgr_image, color_ranges): hsv cv2.cvtColor(bgr_image, cv2.COLOR_BGR2HSV) symbols [] for name, (lower, upper) in color_ranges.items(): mask cv2.inRange(hsv, lower, upper) contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for cnt in contours: area cv2.contourArea(cnt) if area 100: continue x, y, w, h cv2.boundingRect(cnt) symbols.append({ color: name, bbox: (x, y, w, h), area: area, contour: cnt }) return symbolscolor_ranges是一个字典比如红色在HSV里是(0, 100, 100)到(10, 255, 255)蓝色是(100, 150, 50)到(130, 255, 255)。直接使用BGR阈值分割颜色会受光照影响很大图纸扫描件的阴影会让同一颜色产生不同RGB值转换到HSV后固定阈值对均匀色块仍然有效。RETR_EXTERNAL只取最外层轮廓避免色块内部还有白色文字形成嵌套轮廓。area 100用于丢弃扫描噪点的小斑纹具体阈值要按图像分辨率调。识别出的外接矩形就是图符的“位置和形状近似表达”。方向信息推荐用cv2.minAreaRect它返回旋转矩形的中心点、宽高和旋转角比boundingRect更贴近斜放图符的真实样子。颜色信息则在HSV分割时已经拿到。这样图符类任务的“位置、方向、形状、颜色”四个属性就都能落位。4.3 沟槽与线缆的起终点识别线段检测与YOLO目标检测的取舍沟槽和线缆这类长条状对象在工程图上表现为折线或双直线。最直接的检测方法是霍夫直线检测先用Canny边缘检测拿到边缘图再用cv2.HoughLinesP找出线段端点。def detect_lines(gray, threshold80): edges cv2.Canny(gray, 50, 150) lines cv2.HoughLinesP( edges, 1, np.pi / 180, thresholdthreshold, minLineLength30, maxLineGap10 ) result [] if lines is not None: for line in lines: x1, y1, x2, y2 line[0] result.append({start: (x1, y1), end: (x2, y2)}) return resultthreshold是投票阈值值越高能检测到的线段越少但越可靠图纸里存在大量短划线标注时我会把它从80降到40。minLineLength过滤掉过短的线段maxLineGap控制同一线段上允许的断裂间距这两个参数是检出率的关键。沟槽和线缆的“起点终点”在这里直接对应线段的两个端点。霍夫直线只能拿到直线段遇到圆弧线缆就失效此时要考虑轮廓拟合或转用深度学习。当图纸背景复杂、图元互相交叠时传统图像处理的参数会调得人崩溃。改用YOLO系目标检测是常见做法把沟槽、线缆、图符当作目标类别人工标注几百张图纸训练。这个路线的成本不在模型本身而在标注线缆是长条形标注框要完全覆盖它IoU评估会比较吃亏。下表是三种方案的对比方便按场景选型。方案适用场景成本输出HoughLinesP直线、折线为主背景干净低纯OpenCV线段的起终点坐标轮廓分析长条形且边缘连续低需调面积阈值轮廓点和外接矩形YOLO等目标检测背景复杂、线缆被遮挡高需标注数据类别检测框4.4 表格类内容从tabula-py到深度学习结构识别表格类的识别和前两类完全不同因为表格的价值在结构表头在哪几列、哪些单元格合并过、每行数据对应哪个属性。如果PDF是矢量版tabula-py能直接抽取行列坐标如果PDF是扫描版或PNG图纸就得先用OpenCV找表格线。tabula-py的典型用法import tabula def extract_tables_from_pdf(pdf_path, page_number0): tables tabula.read_pdf( pdf_path, pagespage_number 1, latticeTrue, pandas_options{header: None} ) return tableslatticeTrue表示表格有明确的行列线适合带边框的工程表格latticeFalse则是用空白分隔的表格效果取决于排版是否规整。pandas_options让输出保留原始单元格内容而不自动把第一行当表头。对PNG图纸lattice模式不适用常见做法是检测横竖直线用形态学开运算分别提取横向和纵向长直线然后算交点交点矩阵就是单元格的骨架。这个方法对规范制图的表格有效遇到斜线或不规则合并单元格就会漏要靠深度学习的表格结构识别模型来兜底。需要注意tabula-py依赖Java服务器上没有JDK时会立刻报错。项目早期我经常在这上面栽跟头。如果部署环境无法装Java就放弃tabula-py直接用OpenCV直线检测结合OCR逐单元格识别。5. 用最小改动验证识别效果并快速定位问题5.1 构造一张带图符、沟槽和表格的测试图验证这套系统不用拿真实图纸先用程序生成一张带色块、线段和表格的合成图这样你知道标准答案是什么才能判断分类对不对。用OpenCV画矩形、线和表格线再叠加文字。合成图的分辨率建议设到200dpi以上否则测试结果没有参考价值。绘图时把红色图符、蓝色线缆、黑色表头文字分别放三个区域避免互相重叠掩盖问题。5.2 可视化输出中间结果最有效的调试手段是把识别结果画回原图。给每个OCR词画边界框给每个图符画外接矩形给每条线段画端点一眼能看出颜色范围选偏了还是表格交点算错了。可视化代码很短def draw_debug(image, words, symbols, lines): debug image.copy() for w in words: x, y, w_, h_ w[x], w[y], w[w], w[h] cv2.rectangle(debug, (x, y), (x w_, y h_), (0, 255, 0), 1) for s in symbols: x, y, w_, h_ s[bbox] cv2.rectangle(debug, (x, y), (x w_, y h_), (0, 0, 255), 2) for ln in lines: cv2.line(debug, ln[start], ln[end], (255, 0, 0), 2) return debugcv2.rectangle的最后一个参数是线宽1适合看清细框2用于突出图符和线段。把三个类别的绘制颜色区分开视觉上就能直接判断误检来源。5.3 处理失败时的检查清单调试时按顺序检查可以减少大量无用改动检查项优先要看的中间结果常见处置图像分辨率不足灰度图文字是否清晰可读提高PDF的zoomPNG检查源文件DPITesseract语言包缺失识别文本是否全是乱码安装chi_sim并指定lang参数PNG通道异常imread后shape是否为3通道使用IMREAD_COLOR强制去除alphaPDF页面被裁切渲染图四周是否有大量白边使用page.get_rect()配合MatrixHSV颜色区间折叠图符掩膜是否缺块或溢出从图纸上取色样本重新标定区间最后一个问题最常见。红色色调值在0到10之间不同厂商制图软件的色值标准不统一需要按实际图纸取样后重新标定。我一般会在调试窗口里用鼠标点选几个目标色块把HSV值打印出来再回填到color_ranges里这样参数才跟真实图纸对得上。本文还有配套的精品资源点击获取