相机与相机模型（针孔/鱼眼/全景相机）

0. 摘要本文旨在较为直观地介绍相机成像背后的数学模型主要的章节组织如下第1章用最简单的针孔投影模型为例讲解一个三维点是如何映射到图像中的一个像素第2章介绍除了针孔投影模型外其他一些经典投影模型旨在让读者建立不同投影模型之间的建模过程第3章介绍如何把不同的投影模型用一个统一的投影过程表达第4章进一步补充第三章的统一投影模型并介绍畸变的定义和去畸变的原理第5章针对全景相机的基本概念和两种应用广泛的全景相机模型做出介绍第5章用代码示例介绍如何使用OpenCV的接口对图像去畸变1. 相机成像过程为了具体说明相机的成像可以以最简单的针孔相机成像来予以说明。针孔相机由一面有小光圈的遮光盒和另一面有胶卷组成由于研究中使用的大多数商用相机都是基于类似的结构使用薄透镜、小孔径和光传感器代替胶片因此在计算机图形学和计算机视觉研究中针孔相机模型通常用于解释和建模图像形成。说到图像的成像就必须提到三个坐标系相机坐标系、世界坐标系、图像坐标系aICS图像坐标系是附着在每个图像上的坐标系用于指定像素位置。按照惯例从观众的角度来看原点位于图像的左上角x-指向右侧的轴以及y-轴向下。b) CCS摄影机坐标系的原点附着到摄影机计算机视觉约定使用带z的右手系统那么z-指向相机正在观察的对象的轴指向相机的外侧和图像平面的内侧y-指向下方的轴x-轴向右。需要注意OpenCV使用的这种约定可能与计算机图形软件如Blender,OpenGL中使用的视图坐标系不同后者使相机观察方向为负z坐标同时y-是指向上方的轴。详见另外一篇技术博客透视投影与正交投影矩阵中图2所示。对比OpenCV与OpenGL两种不同的坐标系可知相应的转换矩阵T_opencv2opengl array([[ 1, 0, 0, 0], [ 0, -1, 0, 0], [ 0, 0, -1, 0], [ 0, 0, 0, 1]]) #对该矩阵求逆 T_inv np.linalg.inv(T_opencv2opengl ) # 由此得到 T_opengl2opencv T_inv array([[ 1, 0, 0, 0], [ 0, -1, 0, 0], [ 0, 0, -1, 0], [ 0, 0, 0, 1]]) #也就是说该矩阵刚好自逆从坐标系的差异也可以得到验证cWCS世界坐标系将摄影机与场景中的其他对象相关联。1.1 三维空间点映射到图片的像素先从一个最简单的问题开始一个三维空间中的点是如何经过相机成像变为图像上的一个像素的我们最常见的投影模型Perspective Projection Model描述的就是针孔相机的成像原理。从上面的图根据相似三角形可以得出其中为光轴在图像中的坐标如果相机的光轴与感光元器件完全对齐的话,是图像的宽度单位是像素。从上面的关系可以得出将一个三维点投影到像素坐标系的时候可以直接使用下面的公式。对应的就是针孔相机模型。下标表示这个点是在相机坐标系下的点。公式1.2在代码中也经常对分开进行计算:​​​​​​​ ​​​​​​​ ​​​​​​​当然为了简化记号公式1.2也通常记为矩阵相乘的形式​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​如果提前对做归一化处理也就是除以这里, 假设点位于相机前即则可以去掉系数即如下形式​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​公式1.5中位于的平面又叫归一化平面nomalized plane下文会再次提到。公式1.2到公式1.6其实都是等价的。如果给的三维点是在世界坐标系下也就是那么我们只需要先把该点用相机的外参转换到相机坐标系下刚性变换即可​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​由于刚性变换过程不影响对相机投影模型的讨论因此后面都假设三维点是处于相机坐标系1.2 相机坐标系在OpenCV中及大部分视觉处理库中相机坐标系的规定都与上述的图一致就是相机光轴往前为图像水平往右为图像垂直往下为。不过要注意的是在一些仿真渲染器或者特定任务的数据集中可能会规定图像垂直往上为前为朝左为但是这一点是无关紧要的这一点差别可以反映在相机的外参里也就是公式1.7中的只要按照OpenCV的方式规定相机坐标系总是可以找到一个外参矩阵将世界坐标系下的点变换到相机坐标系前右下。1.3 小结问相机是如何成像的答光束从物体表面反射经过相机镜头到达感光原件这一系列物理过程可以通过数学公式表达最终变成一个简单的矩阵操作将三维空间中的点映射到图片的一个像素。具体来说流程图如下一般来说世界坐标系和像素坐标系通过一组物理坐标系相关联参数具体如下* the focal length of the lens 透镜的焦距* the size of the pixels 像素大小* the position of the principal point 主点位置* the position and orientation of the camera 相机的位置与姿态2. 不同的相机投影模型第一节介绍的是针孔投影模型但是事实上相机镜头都是多种多样的不可能都是符合针孔投影模型。本节会介绍经典的相机投影模型并从直观感受和形式化定义上介绍不同的投影模型是如何联系在一起的。2.1 什么是相机投影模型相机投影模型用数学的方式描述了一个真实世界中的三维点到图像上像素坐标的映射关系。相机投影模型实际上就是对相机成像过程物理的数学建模。建模的目的是为了能够尽量符合真实的成像过程。不同的建模方式就对应不同的相机投影模型。2.2 经典的相机投影模型我们回头看看公式1.3并暂时只关注轴的映射关系​​​​​​​ ​​​​​​​ ​​​​​​​上式中称为相机焦距反应了一个单位长度应该映射为几个像素单位是是相机坐标系以光轴点为原点到图像坐标系以左上角为原点这两个参数都是相机的固有参数。而上式轴刚好是点到相机光心的连线与光轴角度的正切值我们记光束与光轴的夹角为并将图片原点移动到图片中心则公式1.3可以写为​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​上式的示意图如下图中的在只考虑轴的时候就是在公式2.1中轴的投影坐标是的函数于是我们是否可以用不同的函数表达这个过程答案是肯定的不同的函数就对应了不同的投影模型。下图就给出了在经典投影模型中对的不同映射方式。事实上作为相机的焦距在上图中的不同投影模型都统一出现上图中不同的函数关系与投影模型的对应关系如下perspective projection/pinhole model/rectilinear model stereographic projection equidistant projectionsine-law projectionequi-solid angle projection上面两幅图出自:Models for the various classical lens projections这篇文章比较形象地介绍各种经典的相机投影模型并给出他们的函数曲线分析。不过总体偏形象化没有引入更形式化的描述。下面对几种常见的相机投影模型分别展开阐述。a) 透视投影(perspective projection)​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​针孔相机模型是经典的投影到平面的模型。每个3D点被映射到2D点。当 z 接近0时该模型会失效并且仅在180度视场范围内有效。针孔投影是唯一一个总是将物体空间中的直线映射到图像中的直线的模型。这个模型的缺点是在更高的视场角度下会产生大量的畸变。我们越接近±90度的奇异点就会有更多的拉伸。这使得它实际上不适用于视场角度大的镜头。针孔/直角投影模型有时也被称为正切模型因为投影点到图像中心的距离与入射光线角度的正切值成正比。b)等距投影(Equidistant projection)​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​通过等距投影投影点与图像中心的距离与入射光线角度成正比。这意味着在z0处没有奇点理论上可以表示高达360度视场的透镜。在实践中随着视场变大物体看起来越来越压缩尽管即使在高角度下这种效果也是适度的。等距投影几何距图像平面中心的距离与图中指示的弧长成正比c)等立体角投影​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​等立体角模型确保每个像素对应的投影面积在整个视场中是恒定的。该模型倾向于在约190度视场的大视场下过度压缩图像像素。适用于较为均匀的畸变分布。等距投影几何距图像平面中心的距离与图中所示的弦长成正比d)立体投影Stereographic projection​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​该模型首先投影到单位球体的表面上然后使用针孔投影投影球体的表面。赤平投影模型倾向于在其视场范围内精确地表示物体形状。即使在高光线角度下图像数据的压缩和拉伸也相对有限。用这种型号设计的镜片并不常见但确实存在。下图说明了投影几何体。立体投影几何投影到单位球体然后是以球体顶部为中心的针孔投影e)正交投影Orthographic projection​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​正交模型首先映射到一个单位球体上然后垂直向下映射到如下图所示。该模型仅限于180度视场并在硬限制之前将像素压缩到无法使用的程度。正交投影几何从欧氏相机模型单位球体到z0平面的正交投影f)增强型统一摄像头模型EUCMEnhanced unified camera modelEUCM不对应于特定的物理透镜几何形状。事实上它实际上是一个具有两个参数αβ的灵活投影函数家族。它对针孔投影功能进行了小幅更改。不是通过除以z,而是除以一个归一化函数这被证明是非常强大的因为它让我们能够以最小的计算开销模拟许多不同的透镜几何。EUCM投影几何EUCM投影找到入射光线与给出的二次曲面的交点然后垂直投影到图像平面。由参数化的二次曲面可以是直线、圆、抛物线或双曲线。EUCM的归一化函数如下​​​​​​​在此模型下任意一个3D点被投影到,当模型简化为针孔模型.其他参数则生成不同的投影曲面而不再是z1平面。当与畸变模型结合使用时EUCM可以与许多不同的镜头一起使用而无需知道确切的光学设计。下图显示了近似上述经典鱼眼投影的EUCM参数值。EUCM近似图显示了每个标准投影的最接近的EUCM模型。EUCM可以精确地模拟针孔、立体和正交投影。它可以在视场内近似到接近260°的等距和等实体模型。注意上图指的是整个视场角的1/2。3. 相机投影模型的统一表达形式上一节我们将投影关系限制在轴并且给出了较为直观的图示。目的在于两个1) 给读者建立更深刻的相机投影过程;2) 让读者对几种经典的投影模型有初步的直观了解。在这一小节中我们给出更为统一的相机投影表达方式同时为后文讨论相机的畸变建立必要的理论基础。我们将相机的投影过程拆分为三个过程1将空间中的点投影到单位球表面;2将单位球上的点投影到归一化平面;3将归一化平面上的点利用针孔模型投影到图像坐标系。下面内容将详细介绍这几个过程。3.1 单位球投影想象一下一束光束从相机光心射出经过图像中的一个像素然后往外无限延伸可以想象到这个光束经过的任何点到图像的投影都是经过的那个像素。这个简单的事实告诉我们我们可以对一个三维点进行任意的放缩其在图像上的成像点都不会改变。于是我们将三维点除以它自身的膜长将其投影到一个单位球其投影坐标为:​​​​​​​ ​​​​​​​示意图如下在上图中是光束与光轴的夹角为光束与水平轴的夹角。两个角度有如下关系​​​​​​​ ​​​​​​​之所以构建和是因为我们后续可以将投影过程建立为这两个角度的函数也就是只与光束的角度有关而与具体的点坐标无关这也是符合直观的。另外从前面的叙述以及常识我们知道针孔成像结果是一个倒立的像为了方便叙述我们可以将相机做一个镜像如下图所示这个单位球有时候又叫视球Viewing Sphere。3.2 归一化平面与模型平面将世界坐标系的点投影到单位球后我们进一步将其映射到的平面上这个平面又叫归一化平面Normalized Plane。此时不同的投影模型会对在归一化平面上的点到原点的连线做放缩为了后文叙述的统一性我们再拆分出一个模型平面。在归一化平面上的点只是与光心点的连线和平面的交点即在模型平面上Model Plane对归一化平面上的点做半径放缩即:​​​​​​​ ​​​​​​​ ​​​​​​​这两个平面的变换过程如下图所示从第二节中经典的投影模型我们发现其实不同的投影模型都没有对产生影响而是对投影点到原点的距离建立不同的函数形式。稍后将看到为了能将所有模型都统一为针孔投影模型会将模型平面变为畸变平面用更具一般性的多项式代替前面的表达形式。因此现在模型平面上的点用下标标明表示distortion。3.3 透视变换得到模型平面上的坐标后我们可以用相机内参将其变换到图像平面这个步骤实际上就只是坐标的变换了。​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​最后我们可以得到一张完整地表达相机投影模型的示意图3.4 将针孔投影带入上述统一模型我们可以将针孔模型即代入上面的模型联立公式3-1-3-5,最后可以发现公式3-5的结果其实就是公式1-3也就是针孔投影模型的公式。这个过程比较简单就不再展开公式。读者自己推导一下这个过程非常有利于理解上述的过程。参考上图所示对于相机坐标系下位于平面上的点,3.5 不同投影模型的函数图我们可以将不同的经典投影模型的函数画出来横轴为纵轴为结果如下:从上图我们应该至少要观察到一个重要的事实针孔模型在θ → 90°时数学发散工程可勉强用到120°~140°但精度极差不推荐。实际上从上面的函数图可以看到针孔投影模型只能在大约水平140度以内的视野成像。3.6 相机投影模型总结到目前位置我们应该建立至少以下几个方面的认识统一化的投影模型经过单位球投影-归一化平面-透视变换几个过程将一个三维点投影到图像上的像素不同的经典投影模型在投影过程中不会改变光束与轴的夹角只是对像素到图像原点的距离建立不同的方程4. 相机的畸变4.1 针孔模型的优越性首先描述一下我们人类直观上对于“标准的图像”这个词的一个感性认识是不是我们会觉得横平竖直真实中是直线则图像中也是直线这样的图片会比较“标准”事实上针孔投影模型就刚好具有这样的性质。这个性质也可以从其投影方程看出来。经过针孔成像的物体好像就是把整个物体缩小放在图片上因此圆是圆直线是直线。而其他投影模型就可能会呈现膨胀、紧缩的成像效果。如下图所示4.2 畸变定义“畸变”这个词从词语上应该理解成由于镜头加工等因素造成镜头与投影模型的差异。但实际上畸变描述的是镜头实际成像 与 理想投影模型等距/等立体角等之间的偏差。鱼眼画面的弯曲是投影几何特性不属于畸变。通常简化的鱼眼投影模型就是等轴投影4阶多项式径向畸变。而“去畸变”则是使用畸变模型对图像进行逆操作使得图像就像用理想投影模型成像出来的一样。4.3 在归一化平面插入畸变模型为了能够利用针孔模型的性质我们在前文给出的统一相机投影模型中将模型平面用畸变平面代替。这里的核心思想是用一个更具一般性的多项式替代各个投影模型中的模型函数以此达到用一个方程表达多个投影模型的目的。替换后的示意图如图所示注意上图与上一节最后的统一投影模型其实是一样的不过Model Plane名字换成Distortion Plane我们这一节采用OpenCV实现的畸变模型来讲解畸变过程我们还是先将点投影到归一化平面得到并令其到原点的半径为:4.4 针孔相机径向畸变Radial Distortion所谓的径向畸变Radial Distortion就是指只对点做半径上的伸缩变化这一点其实就跟经典投影模型一样用一个函数建立半径的变化在OpenCV中标准镜头的径向畸变可以用如下方程表达此时​为无畸变后的归一化平面坐标为畸变后的归一化坐标径向畸变可表示为:​​​​​​​ ​​​​​​​径向畸变对于环绕光轴一周的改变是一致的因此也叫做半径对称畸变Radial Symmetric Distortion或者畸变的对称部分Symmetric Part Of Distortion Model其中​​​​​​​ ​​​​​​​是归一化坐标到归一化平面中心点光轴的距离平方。是径向畸变系数通常取前2或3项即可。根据畸变后的归一化坐标得到像素坐标 ​​​​​​​ ​​​​​​​4.5 针孔相机切向畸变Tangential Distortion真实的镜头由于加工误差和安装误差会导致镜头与感光原件的中心不是完全对齐的因此在平行的方向上会与标准的针孔成像模型有差异这种差异对于光轴不是旋转对称的也叫做切向畸变Tangential DistortionOpenCV中镜头的切向畸变方程如下​​​​​​​ ​​​​​​​公式4.2和公式4.5中的叫做畸变参数Distortion Coefficients)。另外一种考虑薄棱镜畸变参数的 完整畸变模型 如下4.6 鱼眼相机的畸变下面示意图如下注意图中对应的未发生畸变的​​​​​​​ ​​​​​​​根据图中关系式可知满足对应的发生畸变的考虑畸变模型(注意这里三点共线由此根据畸变后的归一化坐标得到畸变点的像素pixel坐标如果改为鱼眼相机等轴投影模型此时如果无畸变时图像平面径向距离与入射角严格满足成像时用畸变等效角​代替真实角代入等距投影公式​​​​​​​ ​​​​​​​ ​​​​​​​4.7 去畸变有了畸变模型之后我们就可以将一个三维点经过单位球投影-归一化平面投影-畸变模型-透视变换得到该点在图像中的像素位置。我们可以通过一些标定物经过求解得到上述的畸变系数进而得到畸变过程的反过程。我们将图像上的点先经过透视变换的反变换得到在畸变平面上的点再经过畸变过程的反过程再投回图像中这样我们就得到一副没有畸变的图像其看起来就像是用完全标准的针孔投影模型成像的照片。下面的图片展示了从畸变到去畸变的图像变化做完去畸变后整个的成像过程就像直接用针孔投影模型公式1-3成像一般就像下图一样。提出畸变模型的文章需要给出如何标定出畸变参数同时如何计算从畸变点到非畸变点这里面主要是一些数学求解这里就不展开讨论有兴趣的可以看看wiki:Distortion5. 全景相机Omidirectional Camera行业内通常鱼眼成像 fov≥180°所谓的全景相机广泛概念上指成像 fov ≥360°的相机他们看起来大概像是下图所示从第二节不同的相机投影模型我们可以知道针孔模型在光线趋近 90° 时数学映射趋于无穷大工程中可强行用于 120°~130° 大广角但线性成像假设失效畸变拟合效果极差不推荐使用。通常由于进光量等问题这类相机一般最多只有140度左右的成像视野。一般的畸变模型的设计以针孔相机模型为基础通过参数模型修正真实的成像与针孔成像的差异因为在很多的应用中我们希望能够通过“去畸变”的方式将图片变成“直线还是直线Straight lines are straight在KannalaBrandt论文中是这样描述的It is impossible to project the hemispherical field of view on a finite image plane by a perspective projection so fish-eye lenses are designed to obey some other projection model.This is the reason why the inherent distortion of a fish-eye lens should not be considered only as a deviation from the pinhole model于是就有很多专门针对全景相机Omidirection Camera/Fisheye Camera/Wide-Angle camera的建模研究出现。重新理清一下我们的目的拥有一种统一的表达方式能够尽量拟合真实的全景相机的成像过程这种表达方式应该简洁有效能够对模型的参数求解并将图像通过“去畸变”变成像是由针孔相机拍摄出来的横平竖直的图像OpenCV中针对全景相机的标定和去畸变给出了两种实现KannalaBrandt模型.对应实现OpenCV::FisheyeCMei模型. 对应实现OpenCV::Omnidir下面简单介绍这两种模型5.1 KannalaBrandt模型第一步还是先将点投影到单位球模型这样我们就得出了两个角度后续的畸变模型就是关于这两个角度的函数这里这里摘录OpenCV的描述方式OpenCV_Fisheye相比于论文在模型参数上简化了很多KannalaBrandt模型使用一个多项式描述径向畸变畸变的对称部分​​​​​​​ ​​​​​​​ ​​​​​​​径向畸变后坐标变为​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​最后再进行非对称畸变​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​最后再经过公式3.5变换到图像坐标系。5.2 CMei模型CMei模型相比于其他模型有一个较大不同之处在于在从单位球投影到归一化平面时将相机光心往后移动了距离总体的投影过程如下图上图出自引用CMei的一篇论文Design and Calibration of an Omni-RGBD Camera。6. 代码实例6.1 针孔投影模型去畸变实例# undistort image h, w img.shape[:2] newcameramtx, roi cv2.getOptimalNewCameraMatrix(K, distortions, (w,h), alpha, (w,h)) undistorted_img cv2.undistort(img, K, distortions, None, newcameramtx) x, y, w, h roi undistorted_img undistorted_img[y:yh, x:xw] # undistort image points if points2d.ndim 2: points2d points2d[:, None, :] undistorted_points cv2.undistortPoints(points2d, K, distortions, PK) undistorted_points undistorted_points.reshape(-1, 2)6.2 CMei模型去畸变实例# undistort image if newK: K_new np.zeros((3,3), np.float64) h,w img.shape[:2] K_new[0, 0] w/4 K_new[0, 2] w/2 K_new[1, 1] h/4 K_new[1, 2] h/2 K_new[2, 2] 1.0 else: K_new None undistorted_img cv2.omnidir.undistortImage( img, K, distortions, Xi, cv2.omnidir.RECTIFY_PERSPECTIVE, KnewK_new) # undistort image points if points2d.ndim 2: points2d points2d[:, None, :] undistorted_points cv2.omnidir.undistortPoints(points2d, K, distortions, Xi, None) undistorted_points undistorted_points.squeeze() f0 K_new[0,0] f1 K_new[1,1] c0 K_new[0,2] c1 K_new[1,2] undistorted_points[:, 0] f0* undistorted_points[:, 0] c0 undistorted_points[:, 1] f1 * undistorted_points[:, 1] c1PS:cv2::omnidir::undisortPoints的旧版本有bug参考这个issue。omnidir空间目前还没有成为opencv的正式稳定接口因此维护在opencv-contrib-python包中最新的包4.6.x已经修复了bug。一定要检查一下是不是有那个bug6.3 KannalaBrandt模型去畸变实例# You should replace these 3 lines with the output in calibration step DIMXXX Knp.array(YYY) Dnp.array(ZZZ) def undistort(img_path): img cv2.imread(img_path) h,w img.shape[:2] map1, map2 cv2.fisheye.initUndistortRectifyMap(K, D, np.eye(3), K, DIM, cv2.CV_16SC2) undistorted_img cv2.remap(img, map1, map2, interpolationcv2.INTER_LINEAR, borderModecv2.BORDER_CONSTANT) cv2.imshow(undistorted, undistorted_img) cv2.waitKey(0) cv2.destroyAllWindows() if __name__ __main__: for p in sys.argv[1:]: undistort(p)7. 相机标定方法最经典的是使用张正友标定法可参考另外一篇博客内容。8. 参考资料OpenCV:Camera CalibrationOpenCV2.4:Camera CalibrationModels for the various classical lens projectionsWiki:DistortionKannalaBrandt:A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye LensesCMei: Single View Point Omnidirectional Camera Calibration from Planar GridsFisheye camera calibrationOpenCV::FisheyeOpenCV::OmnidirCamera Models Summary - CGABChttps://www.skiprobotics.com/articles/fisheye-calibration/相机标定之畸变矫正与反畸变计算