相机标定入门：从针孔模型到OpenCV实操全解析

1. 内容整体设计与思路拆解1.1 相机标定到底在解决什么问题先说个我自己的经历。早几年刚接触计算机视觉那会儿我以为相机标定就是拿着棋盘格拍几张照片跑一下OpenCV接口输出几个数字完事。直到有一次项目里要做视觉测量标定做完了重投影误差0.3像素自我感觉良好结果实际测量一个100mm的工件偏差快3mm了。那时候我才意识到标定这东西如果你不理解背后相机模型是怎么建立起来的出来的参数你也不敢用。相机标定在计算机视觉里属于那种地基级的活。无论是三维重建、视觉SLAM、双目测距还是机器人手眼标定几乎所有任务的第一步都是先把相机的内参搞准。相机模型的本质是描述三维空间中一个点是怎么一步一步投影到二维图像平面上的。而参数标定就是用已知尺寸的标定物反过来推算这个投影过程中的全部参数。很多初学者容易把相机标定理解成拍个棋盘格跑个脚本这种操作层面的东西但实际上它牵扯到透视几何、成像模型、非线性优化和误差分析。你弄明白这一套逻辑之后以后换任何相机、换任何一个视觉项目都能很快上手而不是只会跑别人写好的API。这篇内容我尽量把相机模型和参数标定的核心逻辑讲清楚包括针孔模型怎么建立、内参外参各是什么、畸变为什么必须处理、以及用OpenCV做标定的完整流程和常见坑。适合刚入门计算机视觉的本科生、研究生做大作业也适合做视觉测量、机器人感知的工程师做参考。即便你已经会跑标定接口了我觉得这里面很多细节你还是能翻出来有用的东西。1.2 从三维世界到二维像素透视几何这条主线相机模型的核心归根到底就是一句话三维世界里的一个点经过一系列坐标变换最终变成图像上的一像素。这个过程里涉及四个坐标系世界坐标系、相机坐标系、图像物理坐标系、像素坐标系。世界坐标系是你自己定义的一个基准坐标系标定板所在的平面通常就是世界坐标系的Z0平面。相机坐标系是以相机光心为原点光轴为Z轴的坐标系。图像物理坐标系的坐标单位是毫米原点在光轴与成像平面的交点。像素坐标系就简单了就是我们平时存图像的坐标系单位是像素原点在图像左上角。这四层坐标系之间的变换关系构成了整个相机模型的主线。世界坐标系到相机坐标系是一个刚性变换只涉及旋转和平移没有缩放这就是外参的作用。相机坐标系到图像物理坐标系是透视投影这一步是纯几何变换是针孔模型中中心投影约束的核心——空间中的点、光心、像点三点共线。最后图像物理坐标系到像素坐标系是一个仿射变换只涉及像素尺寸、主点偏移这些内参。透视几何在整个计算机视觉中的核心地位怎么强调都不过分。如果你学过射影几何就会知道三维空间的平行线在图像中往往会交于一点这就是消失点。相机模型里的所有公式推导本质上都是射影几何在成像平面上的具体体现。我当时学习的时候觉得最难理解的地方在于投影过程不可逆。三维到二维是有信息损失的一个像素点对应着三维空间中的一条射线而不是一个确定的点。这一点想通了后面再看深度估计、三角化这些内容思路会顺畅很多。2. 核心细节解析与实操要点2.1 内参矩阵中的关键参数内参矩阵描述的是相机坐标系下的三维点投影到像素坐标系的过程核心是一个3×3的上三角矩阵K [fx 0 cx 0 fy cy 0 0 1]fx、fy分别表示x、y方向上的焦距以像素为单位。cx、cy是主点坐标理论上应该在图像正中心但实际生产中由于镜头安装误差、传感器芯片切割不均等原因主点经常会偏离中心几个像素甚至更多。我见过一台工业相机主点偏移了将近15个像素这种相机如果不做标定直接用测量误差会非常夸张。fx和fy是怎么来的本质上是物理焦距f换算成像素单位的结果fx f/dx其中dx是单个像素在x方向上的物理宽度。之所以fx和fy会不一样主要是因为像素不是标准正方形感光元件的x和y方向的像元尺寸可能不同另外图像处理中的取样也会引入差异。还有一个内参是skew系数倾斜因子用来描述像素坐标系x轴和y轴之间的夹角偏离90度的程度。现代工业相机制造精度很高这个系数通常接近0OpenCV的标定函数也默认不考虑它。但在某些特殊应用场景或者旧式模拟相机中skew不能忽略。如果你用的是普通USB摄像头或者工业相机不用太担心这个参数。说到主点有个实操细节值得提一下用OpenCV标定时如果你固定图像分辨率不变重投影误差又比较理想那么主点cx、cy的标定结果在各次实验之间波动越小越好。我习惯标定至少三次每次重新采集图像对比cx、cy的重复性。如果三次标定的cx偏移超过了2个像素基本可以判定采集的图像不合格或者角点检测有误。2.2 畸变参数与镜头成像的真实差距针孔模型是理想模型现实中任何一个镜头都不可能完美符合针孔投影。主要原因就是畸变。畸变主要分两类径向畸变和切向畸变。径向畸变的来源是镜头的曲面形状。光线经过透镜边缘时折射角度和理想的针孔投影之间会产生偏差。根据偏差方向又分成桶形畸变图像边缘向外凸和枕形畸变图像边缘向内凹。用一个多项式来近似这个偏差x_distorted x * (1 k1*r^2 k2*r^4 k3*r^6) y_distorted y * (1 k1*r^2 k2*r^4 k3*r^6)其中r是点到主点的距离。你会发现离主点越远畸变越大。这就是为什么标定板要拍到图像的边缘区域不拍到边的标定畸变参数根本约束不住。切向畸变则来自镜头和成像平面不平行。这通常是镜头组装时产生的误差。在OpenCV的模型里用p1、p2两个参数来表示x_distorted x 2*p1*x*y p2*(r^2 2*x^2) y_distorted y p1*(r^2 2*y^2) 2*p2*x*y很多网上教程会把畸变模型讲得很复杂但实际使用时你就记住径向畸变用k1、k2、k3三个参数描述切向畸变用p1、p2两个参数描述一共五个畸变系数。对于大部分普通工业镜头标定k1、k2、p1、p2基本就够了k3只有在鱼眼镜头或者畸变特别大的广角镜头下才有必要用到。常有人问我标定完是直接拿原始图做处理还是先对图像去畸变。这个取决于你的应用场景。如果是做视觉测量我的习惯是先整图去畸变再跑算法流程这样后续的所有几何计算都不用再考虑畸变干扰。如果是做目标检测这种对几何精度要求不高的任务畸变对识别率影响不大可以省去去畸变这一步还能省点算力。2.3 外参矩阵与坐标系转换内参描述的是相机内部属性而外参描述的是相机在世界坐标系中的位姿也就是相机到底放在了哪里、朝向哪里。外参矩阵是一个4×4的齐次变换矩阵包含一个3×3的旋转矩阵R和一个3×1的平移向量t。外参的物理含义很直观世界坐标系中的一个点乘以R和t之后就转换到了相机坐标系下。这里要注意旋转矩阵的正交约束——R的每一列都是单位向量任意两列互相垂直。在标定的数学计算中这些约束条件会参与求解所以标定解出的外参天然满足这个性质。但从数值稳定性角度看多张图像联合优化时R的估计质量会影响最终的精度。有些同学分不清标定得到内参会变吗和外参每次标定都不同这两个概念。内参是相机出厂后就基本固定的属性不随相机位置变化而变化。外参则完全取决于你每次拍摄时相机和标定板之间的相对位姿拍一次算一次。所以在标定流程中外参只是中间产物我们真正要保存的是内参和畸变系数。如果你把相机拆了重新安装内参可能因为镜头松动而略微改变这时候需要重新标定。另外提醒一下外参这个概念在不同场景下的含义差异。在标定棋盘格时外参指棋盘格坐标系到相机坐标系的变换在双目标定中外参还包含两个相机之间的相对变换关系在手眼标定里外参又成了机械臂末端与相机之间的位姿关系。概念都指向坐标系之间的刚性变换但具体含义得结合场景去理解。3. 实操过程与核心环节实现3.1 标定板的选择与图像采集标定板我建议优先选棋盘格或者圆点阵。棋盘格最常见角点提取算法成熟OpenCV里直接有findChessboardCorners接口。圆点阵在抗污损方面有一定优势因为圆的质心提取不依赖角点邻域的梯度但在计算上比棋盘格稍复杂一点。如果你只是做课程大作业或者入门练习一张A4纸打印的棋盘格就够用了。打印棋盘格有几个细节要注意。第一最好打印在平面度好的硬纸板或者铝板上别直接拿软纸贴在书桌上。软纸的褶皱会让角点坐标产生微小偏差标定出来就会发现重投影误差怎么也降不下去。第二格子的实际物理尺寸要精确测量最好用游标卡尺多量几个格子的总宽度再取平均别直接用打印软件上显示的尺寸。差一毫米在500mm的测量距离上就可能引入几个毫米的误差。图像采集是整个标定流程中容错率最低的环节。采集的张数、角度分布、光线质量、对焦状态决定了标定的上限。我的经验是至少采集15到20张覆盖以下多种姿态正对镜头拍几张左右各偏转20到40度拍几张上下俯仰拍几张四个角落各拍几张。要让标定板在画面中占据约四分之一到三分之一的区域。有条件的话让标定板在图像边缘出现几次这对畸变参数的估计非常关键。拍照时一定要固定焦距。用工业相机手动模式锁定光圈和焦距。用手机或者普通USB摄像头做标定的话大多数是自动对焦的我建议你搜一下摄像头SDK的自动对焦关闭方法实在关不掉就尽可能保证每次拍摄时摄像头到棋盘格的距离基本一致减小对焦漂移对焦距估计的影响。另外要注意图像必须清晰。模糊的图像用harris角点检测虽然也能检测到角点但亚像素定位精度会大受影响。3.2 使用OpenCV完成标定的完整步骤我用的是经典的Zhang氏标定法流程OpenCV已经帮我们集成好了核心函数但每一步该做什么、输出什么还是有必要搞清楚。第一步读取图像并检测角点。核心接口是cv2.findChessboardCorners。假设棋盘格内部角点数是9×610×7的格子代码大概是这样的import cv2 import numpy as np import glob # 棋盘格内部角点数量 pattern_size (9, 6) # 每个格子的实际物理尺寸单位mm square_size 25.0 objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * square_size obj_points [] # 世界坐标系中的三维点 img_points [] # 图像坐标系中的角点 images glob.glob(calib_imgs/*.jpg) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素精化 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners2 cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) obj_points.append(objp) img_points.append(corners2)这里的objp每个角点的坐标是三维的但z设成了0。因为标定板默认是一个平面所有角点都在z0平面上。这就是为什么用平面标定板能够标定内参——虽然单张图有深度信息缺失的问题但通过多张不同姿态的图等效于获得了多个不同角度的投影约束。第二步调用标定函数ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( obj_points, img_points, gray.shape[::-1], None, None )输出结果里mtx是3×3内参矩阵dist是畸变系数向量rvecs和tvecs是每张图像对应的外参ret是重投影误差。这个重投影误差怎么计算它的本质是把检测到的角点先用外参变换到相机坐标系再投影回图像平面然后和实际检测到的角点坐标计算均方根误差。第三步查看标定效果。可以打印内参矩阵和畸变系数看数值是否合理也可以用cv2.getOptimalNewCameraMatrix和cv2.undistort对图像做去畸变对比效果。h, w gray.shape[:2] newcameramtx, roi cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 1, (w, h)) dst cv2.undistort(img, mtx, dist, None, newcameramtx)在实际项目中我更推荐用remap的方式做去畸变。先把映射表算好之后每帧图像直接查表重映射省去反复计算畸变模型的耗时。3.3 参数结果分析与验证标定完成之后别急着拿去用。先做结果的合理性校验。首先看内参矩阵。fx和fy的量级应该接近传感器的焦距值换算出来的像素焦距。比如传感器像元尺寸是3.45μm镜头焦距是12mm那么fx大约等于12/0.00345≈3478像素。如果标定出来差得很远就要检查采集的图像是否正常、角点检测是否正确。主点cx在1280×960的图像里应该在640附近cy在480附近。偏差太大说明标定多半有问题。其次看重投影误差。平均重投影误差在0.1到0.3像素之间属于正常水平。误差超过0.5像素就需要注意了超过1像素基本可以判定标定质量不合格。这里有个细节OpenCV返回的ret是所有图像角点的总体均方根误差但每一张图像的误差可能差异很大。你应该把每张图像的单独误差也算出来如果某张图特别大说明这张图的姿态、清晰度或者角点检测有问题建议删掉重新采集。此外我建议做一次反投影验证去畸变后把标定板放在已知距离处测量尺寸看误差是否符合预期。这种方式比单纯看重投影误差更能反映实际测量性能。4. 常见问题与排查技巧实录4.1 标定结果反复横跳怎么办这是一个非常典型的问题同一台相机同一批图像多跑几次标定出来的内参差别挺大或者每次采集新图像标出的fx相差几十个像素。这种情况通常是采集图像姿态不够丰富导致的。如果标定板永远放在图像中央、姿态几乎不变化那相当于用单一视角去解算内参约束条件严重不足。内参和外参之间存在耦合姿态单一的时候无法有效解耦标定结果自然不稳。我的建议是重新采集图像确保至少有三种不同角度的倾斜姿态标定板尽量出现在画面的四个角落每次拍摄时旋转标定板90度或者改变倾斜角度。再检查一下有没有图像中棋盘格被遮挡或者反光露白的情况这些问题都会影响角点检测的亚像素精度。另外标定板不要离相机太远导致格子太小。角点定位精度和格子像素尺寸直接相关。我的经验是格子边长在图像中最好占到30像素以上太小的话亚像素精化就发挥不出作用了。4.2 重投影误差一直降不下来如果你排除了图像质量问题重投影误差还是很大那要考虑模型本身是否匹配。第一种情况镜头畸变远超常规模型的描述能力。普通镜头用5参数畸变模型够用但鱼眼镜头、超广角镜头的畸变曲线非常剧烈k1、k2这种多项式模型根本拟合不了。这种场景要么换用鱼眼标定模型cv2.fisheye模块要么改用更高阶的畸变模型。第二种情况标定板的平面性没保障。打印的棋盘格贴在稍微弯曲的纸板上或者用的是容易变形的柔性材料这等于给每个角点的空间坐标叠加了一个未知偏移。三维点本身有误差标定结果就不可能准。一定要用硬质平板尤其是做高精度测量时推荐玻璃基底的陶瓷标定板。第三种情况忽略了对焦和振动的影响。如果相机镜头有轻微松动或者拍摄时光学平台在振动角点在各张图像中的位置会引入随机噪声。虽然理论上多张图像平均能抵消一部分随机误差但如果抖动幅度过大残差还是压不下去。4.3 标定板角点检测失败的排查findChessboardCorners偶尔找不到角点这是新手最容易卡住的环节。第一检查pattern_size填的是不是内部角点数。一个10×7格的棋盘格内部角点是9×6不是10×7。填错了函数自然找不到。第二检查标定板边缘是否完整进入画面。棋盘格只要有一行或者一列被图像边界截掉检测就会失败。让标定板完全处于画面内部并且四周留出几十像素的空白。第三光线条件。光线过暗、反光过强都会影响角点响应值。可以尝试先对灰度图做直方图均衡化再用findChessboardCorners。如果还是不行用cv2.findChessboardCornersSB接口试试这个是基于Saddle Point检测的对模糊图像的鲁棒性更好一些。第四图像分辨率太低。有些网络摄像头只有640×480近距离拍摄时小格子在图像里只有十几个像素角点判据不够明显。这种情况下尽量让相机靠近一点或者直接用更高分辨率的相机去标定标定精度也会随之提升。5. 进阶实践与经验总结5.1 不同场景下的标定策略选择相机标定没有一套方案打天下的说法不同应用场景对精度的要求差别很大标定策略也随之不同。如果你的场景是做目标检测、语义分割这类对像素坐标精度要求不高的任务内参大概准确就可以了。采集10张图跑一遍标准流程误差控制在0.5像素以内直接用。没有必要追求极致的重投影误差因为算法本身的鲁棒性可以容忍这些几何误差。如果是做双目视觉测距或者三维重建需要特别注意两个问题一是左右目相机必须单独标定后再做双目标定得到两个相机之间的相对外参二是畸变校正和立体校正的顺序不能搞错。另外这种场景对主点cx的估计精度非常敏感尽量多采集一些姿态丰富的图像让标定结果更稳定。如果是做高精度视觉测量或者机器人引导建议用陶瓷标定板配合远心镜头或者低畸变镜头并且在标定之后用已知尺寸的高精度量具做一次端到端验证。这个验证很重要因为它反映的是整个视觉系统的实际测量精度而不只是标定残差。5.2 先想清楚模型再去调参数我在很多项目里看到过类似的情况一出问题就怀疑参数没调好其实是对模型理解不到位。相机标定本质上是在做参数估计参数估计的精度取决于三个因素观测数据质量、模型匹配程度和优化算法稳定性。数据质量靠采集控制模型匹配程度靠场景选型优化算法稳定性在OpenCV里已经封装得很好了真正需要你动脑子的前两个。我也踩过不少坑。比如第一次给IMX传感器相机标定时我拿到的fx是5600多当时觉得奇怪后来查了传感器像元尺寸发现这个相机是2.9μm像素12mm镜头算出来差不多就是5600。那一刻我意识到标定只是把真实物理关系清晰地暴露出来而不是给出了一个独立的魔术数字。5.3 给初学者的几条实操建议最后说几个小的实操建议都是我实际项目中反复验证过的。拍摄标定图像的时候尽量保证标定板本身的亮度均匀。不要用强光源直射棋盘格容易在黑白分界处产生高光溢出的伪边缘。自然光条件下拍摄往往效果更好。标定板从打印到测量的过程至少留出几分钟让纸张恢复平整。刚打印出来的纸有热胀冷缩和弯曲应力直接贴到硬板上可能会起皱。如果标定结果偶尔出现一次严重异常别急着删掉全部重新拍。先检查有没有个别图像角点检测错乱把异常图像删除剩余图像继续标定往往就能恢复正常。这种方式比整体重采要高效得多。标定完成之后把内参矩阵、畸变系数、图像分辨率、标定日期、标定板规格这些信息写到一个配置文件里。这不仅能让你后续实验有据可查也是项目交付时最容易被忽视但很重要的工程习惯。相机模型和参数标定这块内容每次带新人我都会从头讲一遍每次讲解的感受都有点不一样。它的理论不算深但实践的门道很多。希望这篇内容能在你实际做标定的时候帮你少走一些弯路。