SCI论文（www.lunwensci.com）
摘 要 ：为了提高全景监控视频的实时性,本文提出了一种基于相机标定参数的图像拼接方法。为了获取 360°全景图像, 该方法采用了 6 个固定角度的摄像头,并通过棋盘格标定板对摄像头的内外参数进行精准标定,构建出 6 个相机坐标系与世界 坐标系的关系模型。然后通过球面投影模型,将画面投影到拼接平面上,最终达到全景监控画面的拼接效果。另外,为了更好 地减少相机受外力干扰的影响,我们引入了一种参数维护机制。通过低功耗嵌入式平台和拼接服务器相结合的实验,表明该方 法能够有效地提高图像拼接的速度和精度,不受环境光照条件和特征点匹配的影响,适用于无特征点或环境变化大的场景下的 实时图像拼接。
关键词 ：图像拼接,全景视频,视频拼接,监控摄像头,相机标定
A Panoramic Surveillance Image Stitching Method Based on CameraCalibration Parameters
ZHU Ge, LI Bingbing, CAO Han, LI Feng, PAN Yuqing
(Jiangsu University, College of Computer Science and Information Engineering, Zhenjiang Jiangsu 212013)
【Abstract】：To improve the real-time performance of panoramic surveillance video, this paper proposes an image stitching method based on camera calibration parameters. To obtain a 360 ° panoramic image, this method uses six cameras with fixed angles, and calibrates the internal and external parameters of the cameras accurately by using a chessboard calibration board, and builds a relationship model between six camera coordinate systems and the world coordinate system. Then, through the relationship of spherical projection, the images are projected onto the stitching plane, and finally achieve the stitching effect of panoramic surveillance images. In addition, in order to better reduce the impact of external forces on the camera, this paper introduces a parameter maintenance mechanism. The experimental verification based on the combination of low-power embedded platform and stitching server shows that this method can effectively improve the speed and accuracy of image stitching, and is not affected by environmental lighting conditions and feature point matching, and is suitable for real-time image stitching in scenes with no feature points or large environmental changes.
【Key words】：image stitching; panoramic video;video stitching;surveillance camera;camera calibration
0 引言
全景影像是一种能够展示 360°视角的图像或视频, 它在地质勘测 [1.2]、三维重建 [3]、医学影像 [4.5] 以及视觉 测量 [6] 等领域有着广泛的应用,同时也为监控领域带来 了新的可能性 [7.8]。全景摄像头可以覆盖更广阔的区域 并减少盲区。相比普通监控摄像头,全景监控摄像头可以降低布设数量和成本,还可以让用户在连贯的画面中 自由选择观看角度,提升用户体验。也可以为目标识别 等操作提供更好的源数据。获取全景影像需要两个方面 的技术支持 ：画面采集和画面拼接。
画面采集的方法主要有三种 ：(1)是使用专业的 全景拍摄设备,如鱼眼摄像头 [9],能够直接获取全景影像,但是成本较高,不易普及 ;(2)是使用单台拍摄设 备在固定站台上旋转拍摄 [10.11],这种方法的设备构成简 单,但是需要拍摄时间较长,还需要精确控制旋转角度 和速度,在拍摄的场景中有动态变化时,很难保证画面 的连贯性和完整性 ;(3)是使用环形排列的多台拍摄设 备捕捉画面 [12.13],这种方法拍摄时间较短,设备数量和 位置可以灵活调整以适应不同的场景,但是每个拍摄设 备的视角和光照条件会存在差异,导致画面拼接时需要 设法消除重叠和缝隙,并对画面优化校正。考虑到监控 摄像头位置固定和布设成本有限的特点,第三种方法是 更适合在监控领域使用的。
画面拼接的方法主要有两种 ：(1)是基于图像匹配 的方法 [14], 即通过提取图像中的特征点等信息, 寻找 图像之间的对应关系,然后进行变换和融合 [15.16]。这 种方法的优点是通用性较强,可以处理不同类型的图 像 ;缺点是计算量较大,容易受到噪声、光照、遮挡等 影响,拼接速度对拼接设备的性能要求较高,较难实现 实时拼接,而且在重叠区域较小的时候可能无法拼接。 (2)是基于相机标定参数的拼接方法 [6.7],即通过获取 相机的内外参数,计算图像的几何关系,然后进行变换 和融合。这种方法的优点是计算量小,可以实现实时拼 接 ;缺点是需要预先标定相机,且使用过程中不能发生 相对移动,否则可能会出现拼接缝或失真等问题。因 此,这种方法适用于相机运动较小、场景较简单的情 况。考虑到监控画面对实时性的要求,以及计算性能的 限制,基于标定参数的方法更合适。
由此,本文提出了一种面向环形排列的拍摄设备采 集方案的基于相机标定的全景影像拼接方法。首先设计 了一种多台拍摄设备环形固定到特定位置和角度进行拍 摄的硬件方案(相机组)。在保证相机组能拍摄到 360° 的画面并且画面之间有一定重合区域的前提下尽可能的 减少拍摄设备的数量。在采集到相机组的标定参数以后, 利用全景影像拼接方法进行快速高效的画面拼接,并引 入了一些优化策略来消除拼缝和失真。最后在不同场景 下进行了实验验证,结果表明该方法可以生成实时的高 质量全景影像,能够很好地满足全景监控方案的需求。
1 多台拍摄设备环形固定方案
为了在全景影像素材的采集过程中,既能有效降低 摄像头组的成本和复杂度,又能避免广角镜头造成的图 像畸变对画面质量和后续算法处理的影响,设计了一种 由 6 个常规摄像头组成的环形摄像头组结构, 如图 1 所 示。考虑到监控摄像头一般需要安装在较高的位置,如 果摄像头以水平方向拍摄,那么上方的部分画面就会被天花板或天空占据,无法获取有效的监控信息。为了提 高摄像头拍摄画面的利用率和覆盖范围,对每个摄像头 的拍摄角度进行了优化,使其向下倾斜一定的角度。
2 全景影像拼接方法
基于相机标定参数的全景监控影像拼接方法主要通 过建立全景拼接坐标系,然后依据每个相机的标定参 数,计算相机拍摄画面到全景拼接画面的投影矩阵的方 式进行拼接。主要可以分为两个步骤 ：第一步通过相机 标定工作,获得相机的基本参数以及相邻画面之间的配 准参数 ;第二步基于标定参数,利用相机拍摄画面到全 景拼接画面的投影矩阵进行投影变换,结合图像融合等 方法进行图像拼接。具体的拼接流程如图 2 所示。
3 相机标定原理
相机标定 [17] 是指从图像数据中估计相机的几何和 光学特性的过程。相机标定的结果通常包括相机的内 参和外参。相机的内参描述了相机的内部结构,如焦 距、主点坐标、畸变系数等,它们决定了图像平面上的 投影模型 ;相机的外参描述了相机在世界坐标系中的位 置和方向,如旋转矩阵和平移向量,它们决定了图像平 面与世界坐标系之间的变换关系。相机标定是实现图像 校正、三维重建、目标测量等任务的重要前提。本文提 出的方法在进行图像拼接时需要使用每个相机的标定参 数,标定参数的获取主要通过以下原理来实现。
3.1 坐标系模型
相机标定的理论基础是基于小孔成像原理的投影模型,该模型描述了三维空间中的物体点如何通过小孔投 影到二维图像平面上的点的映射关系。为了方便地表示 相机和物体之间的几何关系,通常世界坐标系、相机坐 标系、图像坐标系和像素坐标系这四种不同的坐标系来 进行描述(如图 3 所示)。
图 3 中的四种坐标系之间的转换关系可以用以下公式 表示。世界坐标系到相机坐标系的转换关系如公式(1) 所示 ：
其中 R 是旋转矩阵, t 是平移向量,它们描述了相 机在世界坐标系中的姿态和位置。
相机坐标系到图像坐标系的转换关系如公式(2)所示 ：
其中f 是相机的焦距,它决定了图像平面上的投影 比例。
图像坐标系到像素坐标系的转换关系如公式(3)
所示 ：其中 dx 和 dy 是图像平面上每个像素的物理尺寸, cx 和 cy 是图像平面上的主点坐标,它们决定了图像平面上的原点位置。
最终,我们可以得到一个将世界坐标系中的三维点 映射到图像平面上二维点的相机矩阵,该相机矩阵由
3.2 标定参数求解
为了实现图像的拼接,我们需要知道不同图像平面 之间的转换关系,即如何将一幅图像平面上的点投影到 另一幅图像平面上的点。这种转换关系可以用两种方式 来表示, 一种是上文提到的基于相机矩阵的坐标系转 换,另一种是基于单应性矩阵的投影变换。单应性矩阵 可以通过寻找两幅图像中的匹配点对来计算,这些匹配 点对是指在两幅图像中表示同一物体特征的像素点。
假设原始坐标系和变换后的坐标系中的点用 (u0.v0) 和 (u1.v1) 表示,这两种方法的变换关系如公式(4)和 公式(5)所示 ：
坐标系转换和投影变换都能表达这种变换,所以它 们有一个相等的条件,利用这个条件,我们可以求出相 机的内外参数矩阵。
4 图像拼接
4.1 球面投影
图像拼接时,相邻图片的平面不一致会导致拼接图 片变形(如图 4 所示),影响全景效果。为了解决这个 问题,要把拼接的照片投影到虚拟曲面上,保证视觉一致性。这个曲面可以是圆柱面或球面,叫做柱面投影和 球面投影 [18]。常规的环形摄像头拼接时, 可以用圆柱 面拟合拼接画面,圆柱的中心线用相机的重心。但是因 为本文提出的相机组结构中相机有向下的倾角,画面的 中心和相机组的重心不同,应该在重心上方,而且相机 画面更适合用球面拟合。
投影以后的像素点与原坐标点之间的对应关系如公 式(6)所示 ：
其中 w 为画面的宽度, h 为画面的高度。
4.2 建立全景拼接坐标系
想要将相机组的多个画面拼接到一起,首先要选定 一个坐标系,再将每个相机的画面变换到对应的坐标。 我们以球面投影的球心作为拼接坐标系的原点, xz 平面 与相机组所在的平面平行, y 轴正方向与相机坐标系的 y 轴正方向在 xz 平面的同侧,如图 5 所示。
4.3 图像转换公式
转换过程分为两步 ：第一步是将相机坐标系中的 xz 平面旋转到与拼接坐标系中的 xz 平面平行 ;第二步是 将旋转后的点绕着拼接坐标系的y 轴逆时针旋转一个角 度 βi (i=1.2.… ,6),使得它们在拼接坐标系中与对应相机 视角一致。从相机坐标系的角度,这里的变换主要是绕 x 轴旋转的 α°,绕y轴旋转的 β°,以及平移变量 t。
具体的公式推导如下 ：
相机坐标系 Ci 绕 x 轴逆时针旋转 αi 度如公式(7) 所示 ：
相机坐标系 Ci 绕y 轴旋转 βi 度如公式(8)所示 ：
相机坐标系 Ci 的原点绕 6 个相机的中心旋转到 Ci+1 的位置,产生的位移向量如公式(9)所示 ：
其中 r 为相机所处圆(近似)的半径。
第 i 个画面的最终拼接位置如公式(10)所示 ：
4.4 拼接参数校准维护
根据以上方法和相机的初始标定参数,我们可以较 精确地计算出多个摄像画面的拼接参数。但是,在实际 使用过程中,摄像头可能会受到外部因素的干扰,导致 其位置和姿态发生变化,从而影响拼接效果。而且,由 于标定操作比较复杂和耗时,我们不可能在实际使用过 程中经常进行标定。直接进行特征点的匹配,可能会由 于画面中的运动物体等因素导致特征点的误匹配,这样 反而会影响拼接参数的准确性。
为了解决这个问题,我们结合了特征点匹配方法, 对拼接参数进行校准 ：首先,根据标定出的两两摄像 头之间的单应性矩阵 H,从两张图片中提取出特征点对 {li,ri},利用 li=Hri 找出符合当前单应性变换矩阵的特征 点对 {rj}, 这些特征点对能够反映出两张图片之间的对 应关系,我们将它们保存下来作为参考。其次,每隔一 定时间,我们对当前画面中的特征点 {rk} 和保存的特征 点 {rj} 进行匹配,比较匹配结果之间的变换关系。这些 位置变化能够反映出摄像头的位置偏移量以及角度偏移 量,我们利用 3.1 节中的方法,根据这些偏移量对拼接 参数进行相应调整。
5 图像融合
在理论上,图像经过透视变换或仿射变换后, 可以 在拼接平面上实现无缝拼接,但是由于摄像头标定误 差、图像畸变等因素的影响,拼接后的图像仍然可能出 现明显的接缝或失真。通过多频段融合方法可以解决这个问题,它可以在保留图像高频细节的同时,平滑拼接 缝。具体地,多频段融合技术先将待融合的图像通过金 字塔变换分解为不同频率的子带图像,然后根据子带图 像的特点,选择合适的权重函数进行线性融合,最后通 过逆金字塔变换重构出融合后的图像。这种技术可以克 服单频段融合技术和简单剪切粘贴技术的缺陷,提高拼 接图像的自然度和真实感。
6 实验
为了验证全景影像拼接方法在实际环境中的可行 性,我们搭建了一个由 6 个摄像模块和数据处理服务器 组成的实验平台,并对它的拼接质量和拼接速度进行了 实验评估,同时与传统的拼接方法进行了对比。
6.1 实验平台
本方法使用 6 个 ESP32-CAM 加 OV5640 的模块化 系统作为影像拍摄的硬件系统。ESP32-CAM 是一种基 于 ESP32 芯片的低功耗高性能开发板,具有 WiFi 和 蓝牙功能,能够方便地与 OV5640 等摄像头模块进行连 接,并通过 WiFi 网络将采集的视频传输到服务器进行 拼接等处理。将六个模块按照上文中的布置方法放置在 固定支架上,以获取全景影像素材。
6.2 单相机标定
为了对实验系统的 6 个相机进行标定, 采用棋盘格 标定板标定实验系统的 6 个相机。先将标定板平放在桌 面上,再用 6 个相机从不同角度和距离多次拍摄,每个 相机至少 10 张照片,保证标定准确 ;然后,按照 3.2 节的方法,用照片计算每个相机的内参矩阵和畸变系 数 ;最后,将内参结果汇总如表 1 所示。
6.3 相机组标定
为了标定实验系统中 6 个相机之间的相对位置和姿 态,采用单应性矩阵法标定实验系统中 6 个相机的位 置和姿态,相机组标定示意图如图 6 所示。步骤如下 ： (1)先固定相机位置,在相邻两个相机画面重叠区域放 平面棋盘格标定板,垂直于水平面 ;(2)然后再用两个相机拍摄标定板,提取棋盘格角点作为特征点并求出相 机变换的单应性矩阵,然后分离出外参矩阵 ;(3)接着 把外参矩阵代入第 4 节中的模型,求出相机方向的旋转 角度 “ 和平移向量。重复以上步骤, 得到 6 个相机的外 参矩阵和旋转角度。在水平面上放标定板,标定相机与 水平面的夹角 β。标定结果如表 2 所示。
6.4 拼接实验
在标定完成以后,按照投影公式计算每一个相机画 面到拼接画面的变换矩阵,并进行拼接。如图 7、图 8 所示展示了拼接的效果。
6.5 对比试验
为了对比本文提出的拼接方法与传统方法的优缺点, 我们用 OpenCV 和复现的 Surf 拼接方法与之进行对比。
由于硬件系统采集到的画面依赖于相机标定并旨在 减少摄像头数量,导致相邻画面之间的重复区域较小, 如图 7 所示。部分基于特征点匹配的方法无法找到足够 的特征点进行配准。而本方法对重叠区域要求较低,在 不使用广角镜头的前提下,能够有效减少全景拍摄所需 摄像头数量。
在硬件系统标定完成后,本文方法用 0.062s 完成 了对 6 张 1024×768 图像的拼接。由于基于特征匹配的方法拼接本文采集到的画面是会出现无法配准的情况, 我们选用了另外 6 张同尺寸的图片进行对比实验。结果 显示,OpenCV 方法用了 1.79s, Surf 方法用了 4.48s 完 成了同样规格图片的拼接。
6.6 校准实验
为了测试校准方法,我们在实验中人为地改变了摄 像头组的相对位置,模拟摄像头受外力干扰的情况。我 们先在摄像头位置未变之前,找出与变换矩阵一致的特 征点,并保存下来 ;然后,在摄像头位置发生变化之 后,用保存的特征点和新的画面进行匹配,计算出摄像 头的旋转矩阵和平移向量 ;再将这些数据代入公式,得 到新的拼接参数 ;最后,我们用初始标定和校准后的拼 接参数,分别对保存的特征点进行计算,得到如表 3 所 示的结果。实验表明,该方法能有效地消除摄像头受外 力影响而产生的误差,具体校准实验数据如表 3 所示。
6.7 实验分析
根据实验结果,本文提出的方法能够很好地完成对 全景影像的拼接工作。在不使用广角镜头且尽可能减少 摄像头数量的前提下,能够很好地满足全景监控摄像头 低成本获取实时全景影像的要求。相较于传统的基于特 征匹配的拼接方法,本方法利用标定板来获取相机参 数,并由此计算拼接参数,可以极大程度地减少对相邻 画面重叠区域的要求,从而减少摄像头数量。同时由于 不需要对每一帧进行特征匹配,对获取到的画面可以直 接进行拼接操作,省去了复杂的特征点检测、匹配筛选 等步骤,大大缩短了拼接时间。
7 结论
基于相机标定的图像拼接方法能够抵抗环境光照的干扰,在保证精度的同时具有较高的鲁棒性,利用标定 参数替代图像配准,有效缩短了图像拼接的时间。本文 将该方法与全景监控设备相结合,设计了一种环形排列 的相机拼接模型,用于生成全景监控画面,在全景监控 的应用中取得了较理想的效果。实验分析验证了本文提 出的拼接方法在无特征点或环境变化大的场景下,能够 实现实时图像拼接的可行性和优越性。
参考文献
[1] CHENG Y F,JIN S Y,WANG M,et al.Image Mosaicking Approach for a Double-camera System in the GaoFen2 Optical Remote Sensing Satellite Based on the Big Virtual Camera[J].Sensors,2017.17(6):E1441.
[2] BOSCH J,GRACIAS N,RIDAO P,et al.Omnidirectional Underwater Camera Design and Calibration[J].Sensors, 2015.15(3):6033–6065.
[3] 于天慧,孙金玮.面向复杂场景的未标定两视图三维重构方 法[J].计算机辅助设计与图形学学报,2016.28(8):1232-1241.
[4] 陈晨涛,潘之玮,沈会良,等.一种人体热红外图像拼接及部位 划分方法[J].光电工程,2019.46(9):67-75.
[5] KAYNIG V,FISCHER B,MÜLLER E,et al .Fully Automatic Stitching and Distortion Correction of Transmission Electron Microscope Images[J].Journal of Structural Biology, 2010.171(2):163–173.
[6] 闫利,曹亮,陈长军,等.车载全景影像与激光点云数据配准方 法研究[J].测绘通报,2015(3):32-36.
[7] 马力,张茂军,徐玮,等.采用视频拼图方法构建高分辨率全景 视频监控系统[J].中国图象图形学报,2008.13(12):2291-2296. [8] 孔方方,宋蓓蓓.改进YOLOv3的全景交通监控目标检测[J].计算机工程与应用,2020.56(08):20-25.
[9] LI J,ZHAO Y F,YE W H,et al.Attentive Deep Stitching and Quality Assessment for 360° Omnidirectional Images[J]. IEEE Journal of Selected Topics in Signal Processing,2019 (1):209-221.
[10] 杜往泽,宋执环,闫文博,等.单摄像头旋转监控下的快速图 像拼接[J].中国图象图形学报,2016.21(02):245-254.
[11] 傅子秋,张晓龙,余成,等.多场景下基于快速相机标定的柱 面图像拼接方法[J].光电工程,2020.47(4):74-86.
[12] 刘畅,金立左,费树岷,等.固定多摄像头的视频拼接技术[J]. 数据采集与处理,2014.29(1):126-133.
[13] 王冬,刘凤英,陈天恩,等.一种相机标定参数的柱面全景影 像拼接方法[J].测绘科学,2016.41(07):150-154+143.
[14] SEO S,JEONZ S,LEE S.Efficient Homography Estimation Method for Panorama[C]//Proceedings of the 19th Korea-Japan Joint Workshop on Frontiers of Computer Vision,2013:209–212.
[15] LOWE D G.Distinctive Image Features from Scale- Invariant Keypoints[J/OL].International Journal of Computer Vision,2004.60(2):91-110.
[16] BAY H,TUYTELAARS T,VAN GOOL L.SURF:Speeded Up Robust Features[M/OL]//Computer Vision–ECCV 2006.Lecture Notes in Computer Science.2006:404-417. http://dx.doi.org/10.1007/11744023_32.
[17] ZHANG Z.A Flexible New Technique for Camera Calibration[J/OL].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002:1330-1334.http://dx.doi. org/10.1109/34.888718.
[18] XU Y,ZHOU Q H,GONG L W,et al.High-speed Simultaneous Image Distortion Correction Transformations for a Multicamera Cylindrical Panorama Real-time Video System Using FPGA[J].IEEE Transactions on Circuits and Systems for Video Technology,2014.24(6):1061–1069.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/68410.html
