相机标定在计算机视觉里的地位就像盖房子打地基房子再华丽地基不准就全歪。所谓标定就是确定相机内参矩阵和畸变系数从而建立起三维世界坐标到二维图像坐标的精确映射。几乎所有涉及定量测量的视觉任务——做尺寸检测、位姿估计、三维重建、SLAM、AR——第一关都是它。张正友标定法是这个领域最普及的解决方案只需要一个棋盘格以及若干张不同姿态下的照片就能解出相机的内参、外参和畸变参数。它对硬件依赖低、操作流程成熟、精度也足够满足绝大多数应用所以无论是高校里的科研项目还是工业现场产线集成你都会碰到它。这篇文章我会从“为什么需要标定”开始接着把张正友法背后的数学原理讲透再给出一套基于OpenCV的完整实操流程最后把我在实际项目中踩过的坑整理成速查清单供你直接对照排查。内容偏工程、偏落地数学部分会用大白话拆开讲保证每个细节都能落地。1. 为什么是张正友法——从问题本身说起1.1 相机标定到底要解决什么问题先把成像这件事说清楚。一个三维空间的点最终落到图像传感器上的像素坐标中间经过了四次坐标变换世界坐标 → 相机坐标 → 图像坐标 → 像素坐标。前一半用外参描述后一半用内参描述。标定要做的就是把内参和外参这些未知量精确求出来。内参包括焦距fx、fy、主点cx、cy、以及图像轴倾斜系数。这些参数可以理解为相机的“出厂属性”理论上同一台相机只需要标定一次。但现实没那么美好镜头有畸变温度变化会让机械结构微变换镜头、换分辨率、拧紧压环都会影响内参。所以工程上有一个基本共识换了镜头就要重新标定换了相机就要重新标定改了采集分辨率也要重新标定不要拿旧标定参数硬套新硬件。外参描述的是相机在世界坐标系中的位姿包括旋转矩阵R和平移向量t。它的特点在于每换一个拍摄视角外参就变了但内参始终不变。这个“视角变了而内参不变”的性质正是张正友法能够把问题拆解开来逐步求解的根本逻辑。畸变也不容忽视。畸变分为径向畸变和切向畸变径向畸变让直线变弯俗称桶形畸变或枕形畸变切向畸变是镜头装配误差带来的通常量级不大但广角镜头上不能忽略。如果标定不做畸变矫正图像边角区域的像素坐标误差会随着焦距变短急剧增大后续测量精度自然无从谈起。1.2 三种主流标定方案为什么偏向棋盘格在张正友法之前和之后行业内主要有三条路线。传统标定法使用高精度的三维标定块比如两个互相垂直的棋盘格平面。原理上更完备但标定块造价高、加工难度大、对空间摆放位置也有严格要求实验室用没问题产线和小团队很难推广。自标定法则完全不需要标靶靠场景中的直线、平行线、灭点等几何信息求解。它灵活但是精度不稳定通常只作为初值或辅助手段很少作为工程主方案。张正友法恰好落在中间一个打印在平面上的棋盘格就提供了足够多的约束把一个复杂的非线性问题转化为“先线性求解、再非线性优化”的两步走。它的优势非常具体——标定板用一张纸就能打出来成本几乎为零棋盘格角点检测非常稳定黑白交界处天然就是强特征角点的世界坐标可以从格子尺寸直接推算不需要额外测量。所以无论在学术界还是工程界张正友法都成了事实上的标定基准。2. 核心原理拆解棋盘格背后的数学模型2.1 坐标系转换链与内外参数的关系先看投影方程这是整个标定问题的小灯泡s · [u, v, 1]^T K · [R | t] · [X, Y, Z, 1]^T左边[u, v, 1]是像素坐标的齐次形式右边[X, Y, Z, 1]是世界坐标的齐次形式。K是内参矩阵R和t合起来是外参s是一个尺度因子。K矩阵具体展开是这样的K [fx γ cx; 0 fy cy; 0 0 1]fx和fy分别是镜头在x、y方向上的等效焦距单位是像素通常两者非常接近。cx和cy是主点也就是光轴穿过图像平面的那个点理想情况下位于图像正中心但实际装配中往往会偏几个像素。γ是倾斜系数现代相机传感器几乎都是严格正交排列所以γ一般直接取0或者由优化过程自动求解出非常接近0的值。外参里的R是3×3旋转矩阵t是3×1平移向量。它们把世界坐标系的点变换到相机坐标系。R有三个自由度绕三个轴旋转t有三个自由度所以每个视角的外参是6个未知数。这个公式理解透了后面单应性推导就顺了。要注意畸变暂时没有出现在这个方程里因为畸变是在“理想针孔投影”之后的第二阶段才叠加进去的。先求无畸变的理想投影参数再在后端优化里把畸变系数一起带入精修这是张正友法的基本思路。2.2 单应性矩阵张正友法的支点棋盘格最大的妙处在于它是一个平面。我们可以把棋盘格所在平面定义为世界坐标系的Z0平面那么所有角点的世界坐标形式就变成[X, Y, 0, 1]^T。把这个条件代入投影方程s · m K · [r1, r2, r3, t] · [X, Y, 0, 1]^T由于Z为0r3那一列直接不起作用方程简化为s · m K · [r1, r2, t] · [X, Y, 1]^T右边的K·[r1, r2, t]是一个3×3矩阵记作H称为单应性矩阵。于是s · m H · M这就是张正友法的支点空间平面上的点和图像上的点之间直接由一个3×3单应矩阵联系起来。棋盘格提供了几十个世界坐标已知的角点每个角点给出一组像素坐标于是H可以解出来。H有8个自由度因为尺度归一化整体缩放不影响等式成立每个角点提供两个线性方程。理论上4个角点就能解出H但棋盘格通常有几十个内角点多余约束用最小二乘处理H的估计自然就更稳。2.3 从单应矩阵到内参为什么至少要3张图假设已经对每张标定图像求出了H把它写成列向量形式H [h1, h2, h3]。根据前面的推导存在关系[h1, h2, h3] λ · K · [r1, r2, t]λ是某个非零常数。因为r1、r2是旋转矩阵的前两列旋转矩阵的列向量都是单位正交向量于是立刻得到两个漂亮的约束h1^T · K^(-T) · K^(-1) · h2 0 h1^T · K^(-T) · K^(-1) · h1 h2^T · K^(-T) · K^(-1) · h2这里出现了K^(-T)·K^(-1)这个组合可以令B K^(-T)·K^(-1)。B是一个3×3对称矩阵对称矩阵的独立未知数只有6个。每张图像可以贡献上面两个方程所以要解出B的6个未知数至少需要3张不同姿态的图像。这就是“最少3张图”这个说法的数学来源。但注意3张只是理论下限实际的图像噪声、角点检测误差都会污染线性解所以工程上普遍拍15到30张让估计在统计意义下更稳定。解出B之后通过Cholesky分解或者直接公式变换可以把内参矩阵K反解出来。得到K后旋转向量和平移向量也能顺手恢复。这个阶段得到的内参和外参是线性初解精度一般后续还要做整体优化和畸变矫正。2.4 畸变模型与联合优化线性初解没有考虑镜头畸变直接使用会在图像边角带来明显误差。张正友法在获得初值后会把畸变参数引入模型然后对所有参数做一次整体非线性优化。径向畸变模型用多项式来描述最常用的形式是x_dist x · (1 k1·r² k2·r⁴ k3·r⁶) y_dist y · (1 k1·r² k2·r⁴ k3·r⁶)其中r² x² y²x、y是归一化相机坐标。k1、k2是主要径向畸变系数k3是为大畸变镜头准备的高阶项普通镜头k3一般很小但广角镜头和鱼眼镜头必须启用。切向畸变模型x_dist x 2·p1·x·y p2·(r² 2·x²) y_dist y p1·(r² 2·y²) 2·p2·x·yp1、p2是切向畸变系数通常比k1、k2小一两个数量级但存在装配偏差时并不能盲目归零。整体优化的目标函数非常朴素让所有标定角点的重投影位置与检测到的像素位置之间的误差总和最小。常用Levenberg-Marquardt算法迭代求解。这个阶段相当于把所有内参、外参、畸变系数放在一个大锅里一起“炖”直到误差收敛。3. 实操落地OpenCV完整标定流程3.1 标定板的选择、打印与拍摄规范标定板的选择直接影响最终精度。实验室和一般工程场景A4纸打印棋盘格再贴到硬纸板或亚克力板上就够了工业级高精度场景建议用玻璃或陶瓷标定板那东西平整度和尺寸公差是艺术品级别的当然价格也高很多。打印棋盘格有几个容易踩的细节。第一内角点的数量建议7×7或8×6这种配置角点太少约束不够太多则整张棋盘格在画面中占据面积变小单个角点的亚像素精度反而下降。第二格子边长一般选20mm到50mm根据工作距离调整目标是让棋盘格在画面中占到至少三分之一面积。第三打印完一定要用游标卡尺测量实际格子边长打印机的缩放误差经常让边长偏离设计值而objectPoints里写错边长标定结果会整体缩水这种错误最隐蔽。粘贴标定板时注意三点板面要平整不能有气泡底材要刚性不要用软纸板表面不要有反光涂层。棋盘格如果有局部反光或者皱褶那部分的角点检测基本就废了。图像采集是整个流程里最考验耐心的环节。我个人习惯拍20到30张角度覆盖要夸张一点棋盘格平放、左倾、右倾、上仰、下俯、旋转30度、旋转45度让角点均匀出现在画面的中心和四角。有一个很常见的错误是全组图片都让棋盘格正面朝向相机那种情况下单应性矩阵的约束趋同内参反而求不准。光线方面均匀的室内光最好避免强反光和阴影遮挡弱光环境下优先补光不要把ISO拉到很高不然噪点会直接拉低角点亚像素精度。3.2 角点提取与亚像素细化OpenCV里找棋盘格内角点用的是findChessboardCorners函数用法非常直接import cv2 import numpy as np import glob pattern_size (7, 7) # 内角点行列数 square_size 30.0 # 格子边长单位mm criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) img cv2.imread(example.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None)这里pattern_size填的是“内角点”数量不是棋盘格总数。比如一张9×9的棋盘格8行8列方块格内角点就是8×8需要仔细数清楚。这个参数写错findChessboardCorners永远返回False。findChessboardCorners返回的角点坐标是整像素级别精度远远不够。必须用cornerSubPix做亚像素细化if ret: corners_sub cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)这一步能把角点坐标细化到0.1像素甚至更小的精度。窗口大小(11, 11)是常见选择窗口太小算法退化窗口太大又容易受到相邻角点干扰。亚像素细化的必要性可以用一个直观理解来概括标定算法的输入是角点坐标输入精度决定了输出精度整像素输入会导致内参估计的方差在边缘区域明显放大。3.3 完整标定代码与参数解读把所有图像的角点收集完毕就可以调用calibrateCamera。下面是一段完整的标定流程代码objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) * square_size objpoints [] # 世界坐标所有图像统一 imgpoints [] # 图像坐标每张图对应一组 images glob.glob(chessboard_images/*.jpg) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: corners_sub cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) objpoints.append(objp) imgpoints.append(corners_sub) cv2.drawChessboardCorners(img, pattern_size, corners_sub, ret) cv2.imshow(check, img) cv2.waitKey(50) cv2.destroyAllWindows() ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None ) print(内参矩阵:\n, mtx) print(畸变系数:\n, dist)rvecs和tvecs分别保存每张图像对应的旋转向量和平移向量。注意旋转向量不是旋转矩阵它们之间需要用Rodrigues变换互相转换不过大多数时候我们只关心mtx和dist。calibrateCamera的flags参数值得专门讲一讲。默认情况下OpenCV使用五参数畸变模型也就是k1、k2、p1、p2以及k3但k3初始为零。如果镜头是广角或者畸变明显建议开启cv2.CALIB_RATIONAL_MODEL标志这样会使用包含k3在内的完整径向畸变模型。如果传感器像素确实是正方形可以开启cv2.CALIB_FIX_ASPECT_RATIO并传一个初始猜测值约束fx和fy的比例能减少参数搜索空间。cv2.CALIB_ZERO_TANGENT_DIST标志会把切向畸变强制设为0普通短焦镜头可以用但广角镜头不建议因为这等于忽略了装配偏差。3.4 精度评估重投影误差到底多少算好标定完并不能直接收工必须看重投影误差。所谓重投影误差就是把已知的三维角点用刚才求出的内外参重新投影回图像平面计算投影点与检测到的角点之间的像素距离。计算代码total_error 0.0 for i in range(len(objpoints)): imgpoints_proj, _ cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist) error cv2.norm(imgpoints[i], imgpoints_proj, cv2.NORM_L2) / len(imgpoints_proj) total_error error mean_error total_error / len(objpoints) print(平均重投影误差: {:.4f} 像素.format(mean_error))经验判断标准误差小于0.1像素说明标定质量极好0.1到0.3像素属于正常范围绝大多数项目都能接受0.5像素以上就要警惕了可能是某张图像有问题或者标定板不平整超过1像素基本能确定流程里有明显缺陷。另外一个我常用的习惯是逐张检查误差。把每张图的重投影误差单独打印出来找出误差明显偏大的那几张看看那张图的棋盘格姿态是不是太极端、曝光是不是有问题、有没有微小运动模糊。删掉问题图重新标定往往误差能下降一个档次。4. 常见问题排查与独家避坑心得4.1 高发问题速查表为了让你排查起来更方便我把常见问题做成了表格。这些基本都是我亲测过的真实翻车点比看任何理论文章都直观。现象可能原因排查建议重投影误差整体大于1像素标定板不平整或底材变形换硬质板材撕掉重贴确保完全平坦个别图像角点检测失败反光、过曝、阴影遮挡调整光照角度重新拍摄或直接删除该图求出的fx、fy数值异常大/小图像经过resize或压缩使用相机原始分辨率做标定角点检测成功但顺序错乱棋盘格旋转过大或部分遮挡保证棋盘格完整入画旋转角度控制在合理范围标定结果内参正常但三维测量偏差大格子边长写错或打印缩放用游标卡尺实测边长更新square_size切向畸变系数异常偏大镜头装配偏差或图像中心区域曝光不均检查镜头压环开启完整畸变模型重新标定无论怎么拍误差都下不去相机或标定板之间有微振动用三脚架固定相机避免手持拍摄换了分辨率后旧参数失效内参与分辨率强相关每次改分辨率都重新标定4.2 提升标定精度的几条实践经验第一条经验关于拍摄姿态的分布。不要只在某个角度范围内重复拍比如全都在正前方30度范围内这样图像的约束信息高度相关内参解容易出现奇异。我习惯把拍摄分成三组第一组正对偏小于15度第二组棋盘格左倾右倾各30度以上第三组把棋盘格放到画面四角位置拍。这样角点在图像平面上的分布足够均匀单应性矩阵的空间约束最强。第二条经验是高分辨率相机和低分辨率相机的标定策略是刻意不同的。高分辨率相机的优势在于角点亚像素细化相对更精细但它对畸变的敏感度也更高建议把畸变模型完整打开。低分辨率相机本身角点提取误差占比就大反而没必要把k3这类高阶项开出来参数太多容易过拟合噪声。第三条经验是多次标定取优。我通常每套相机拍三组不同的图片集每组20张以上分别标定看三者的平均重投影误差是否稳定在0.1像素量级。如果三组结果的内参矩阵差异很小说明标定真实可靠如果差异明显说明图片覆盖或光照存在问题需要重新采集而不是强行挑选一次结果。第四条经验是标定完成后一定要做“实测校验”。拿标定出来的畸变参数对一张真实场景图做去畸变观察画面中原本应该是直线的边缘比如门框、桌边是否变直。这个验证比单纯看重投影误差更贴近真实应用因为它涵盖了标定图片采集和实际使用场景之间的差距。最后一个小技巧拍摄时可以在标定板后面垫一块与棋盘格颜色反差大的底板比如白色标定板垫黑色绒布。这样图像预处理时可以用简单的阈值把棋盘格区域分割出来做自适应二值化角点检测的成功率和稳定性会明显提升。我用了这个办法之后坏图的淘汰率几乎降到了零标定流程也从反复重拍变成了一次过。如果你正在为角点检不出来发愁不妨先试这一条。