SCI论文（www.lunwensci.com）
摘 要：针对 ToF 与可见光异源图像配准效果不佳的问题,提出一种基于非下采样剪切波和尺度不变特征变换改进的异 源图像配准算法。首先将 ToF 和可见光图像分解为多尺度图像;然后以多尺度图像和原图像为基础,使用 Sift 算法进行特征点 提取,将提取的特征点进行统一的粗匹配,最后使用 RANSAC 算法对匹配特征点提纯,进一步筛选特征点,完成配准。实验 结果表明,该算法具有较强的鲁棒性。
关键词： 图像配准,NSST,SURF,ToF
Multi-scale SURF Heterosource Image Registration Algorithm Based on NSST
ZHOU Yubo, LIU Liqun
(College of Information Science and Technology, Gansu Agricultural University, Lanzhou Gansu 730070)
【Abstract】：Aiming at the problem of poor registration effect between ToF and visible light heterosource images, an improved heterosource image registration algorithm based on non-subsampled shear wave and scale invariant feature transform was proposed. Firstly, ToF and visible images are decomposed into low frequency and high frequency. Then, based on the high frequency, low frequency and original image, Sift algorithm is used to extract feature points, and the extracted feature points are uniformly coarse matched. Finally RANSAC algorithm is used to purify the matched feature points, further screen the feature points, and complete the registration . Experimental results show that the proposed algorithm has strong robustness.
【Key words】：imageregistration;NSST;SURF;ToF
0 引言
随着技术的发展,单一数据源已经不足以提供完整 的数据,使用多个传感器对同一个场景或同一个目标进 行采集,结合特性综合成一幅新的图像,利用不同传感 器的互补信息而得到对目标多方面的特征描述,从而便 于观察或进行后续的处理 [1-3]。图像配准又是多传感器 采集信息后所必不可少的一步。
图像配准是指将不同光照、不同拍摄角度、不同传 感器等获得的两幅图或多幅图像进行配准 [4]。异源图像 之间通常存在空间位置变换、成像原理不同、图像分辨 率不同等属性。异源图像配准的目的是在异源图像差异 性的基于上,提取异源图像之间的相关性,找到图像间的最优变换矩阵。目前,常用的配准算法有 Harris[5]、 SIFT[6]、SURF[7] 等。文献 [8] 提出基于 SUFRF 与区域 生长的特征点提取,通过区域生长生成的边缘信息用 于 SURF 特征点提取,在有共同灰度特征的图像上取得 了很好的效果,对于灰度信息不同的异源图像配准效果 不好。文献 [9] 使用 CANNY 边缘算子提取异源图像边 缘, 使用 SURF 算法提取边缘图像特征点,有效地提高 了异源图像配准的鲁棒性,但在提取边缘过程中也过滤 掉了部分细节信息。
基于此, NSST 和 SURF 改进的异源图像配准算法, 在 SUFR 算法的基础上,通过 NSST 模型分解图像,将 异源图像分解为多尺度,提高配准过程中的精准度,实验结果证明了所设计算法的可行性和有效性。
1 NSST
NSST[10] 是目前常用的多尺度变换算法,它具备较 优的多分辨率性、尺度不变性等,能够克服图像边缘处 的伪吉布斯现象。NSST 分解由非下采样金字塔滤波器 组和剪切滤波器组成。NSST 分解后尺度不变性保证了 子带图像与源图像尺寸相同,且具有准确表征信息的性 能。NSST 分解流程图如图 1 所示。
2 SURF 特征点配准算法
SURF (Speeded Up Robust Features, 加速稳健特 征 ) 算法可被用于图像拼接、图像配准等图像处理。算 法主要是把图像之间的匹配转化成特征点向量之间的一 种相似性度量。SURF 图像配准算法的实现过程如图 2 所示。
2.1 SURF 特征点检测
SURF 首先构建 Hessian 矩阵的生成图像稳定的边 缘点。对于一个图像f (x,y), 其 Hessian 矩阵如式(1) 所示：
其中, Lxx (x, σ) 为二阶导数与像素点的卷积, σ 为尺度因子。
SURF 算法使用盒式滤波对图像进行模糊处理,并通 过加权系数来平衡误差,这样加入权值近似的 Hessian 矩 阵的行列式如式(2)所示：
其中, ω 为加权系数。
SURF 算法通过逐步增大滤波器模板尺寸,同时处 理尺度空间中图像。如图 3 所示。
SURF 算法在特征点周围的圆形区域中,使用一个 圆心角为 60°的扇形的单位区域,每次转动相同角度绕 圆一周,然后计算所有扇形中像素点的 Haar 小波特 征,特征点的主方向为当前像素点 Haar 小波值最大的 方向。 特征点主方向示意图如图 4 所示。
SURF 算法在生成特征点描述子时,在选定的点 周围取一个 n×n 的区域,区域方向沿着特征点的主方 向。子区域块计算多方向 Haar 小波特征。特征点描述 子图如图 5 所示。
其中, n 为向量维数, Tjp 和 Tip 分别为两幅待配准图 像中第 i 和j 个特征描述子的第 p 个元素。
3 基于 NSST 和 SURF 改进的异源图像配准算法流程
ToF 与可见光图像之间的相关性比较小,灰度差异 很大,直接在灰度图上提取特征将导致获得的特征匹配 重复率很低,无法完成对特征的一致性描述,导致配准 错误。图像配准的关键是特征点的检测,而特征点的检 测又与原图像息息相关。
传统的 Sift 算法, 使用原图像或者是边缘算法计 算的特征图来进行特征点的检测,这在异源图像配准中 丢失了许多图像原本细节。基于此本文提出一种基于 NSST 分解的多尺度图像和 SIFT 特征点运算的异源图 像配准算法。算法流程如下：
(1) 将 ToF 图像与可见光图像通过 NSST 分解为 多尺度图像。
(2)将原图、低频图像和高频图像分别进行 SURF 特征点计算,并将运算结果进行综合,如图 6 所示。
(3)通过特征匹配算法对特征点进行初步筛选,如 图 7 所示。
(4) 使用 Ransac 算法对匹配特征点进行精确筛选, 完成配准,如图 8 所示。
4 实验结果与分析
采用 Matlab GUI 界面搭载本文 NSST 的多尺度 SURF 配准算法进行实验,导入 ToF 图像与可见光图像,点 击图像配准完成程序,Matlab GUI 界面如图 9 所示。
为避免选取图像的偶然性, 又随机选取 3 组不同场 景的 ToF 与可见光图像进行验证,选取 20 对最优的特 征点匹配对,结果如图 10 所示。
如图 10 所示,本文算法在不同场景下的特征点匹 配对都较为稳定,且配准效果较好。如图 10(a)所示, 传统的算法中农业场景最为复杂,由于异源成像后树枝 或树叶的边缘情况过于复杂,导致误匹配,而本文算法 通过多尺度分析,实现误匹配的特征点数量为零。如图 10(b)所示,由于拍摄时间有一定的偏差,导致图像 间存在一定的差异,但本文算法仍有一定的特征点匹配 对。如图 10(c)所示,在城市场景中本文算法能准确 的提取房屋、道路中的特征点,完成精准配准。实验结 果表明本文算法具有一定的鲁棒性。
5 结语
本文主要研究了不同场景下的 ToF 与可见光异源图 像配准算法,首先考虑到图像灰度信息差异问题,选择 了基于 NSST 算法的图像多尺度变换,而 NSST 算法的 尺度不变性以及多尺度特性恰好适用于 SURF 算法在尺 度方面的缺陷,相比于传统的 SURF 算法更适合于异源 图像配准的需求。
参考文献
[1] 李云红,刘宇栋,苏雪平,等.红外与可见光图像配准技术研究 综述[J].红外技术,2022.44(7):641-651.
[2] 姚保琛,柏春松 .基于特征的图像配准技术综述[J].现代计算 机,2020(20):52-56.
[3] 陈庆伟,李民东,罗川,等.视觉SLAM中图像特征点提取与匹 配算法研究[J].现代制造工程,2019(10):135-139+134.
[4] 冯文斌,刘宝华.改进的SIFT算法图像匹配研究[J].计算机工 程与应用,2018.54(3):200-205+232.
[5] 王亚丽 .结合Harris和改进SIFT算法的遥感图像配准方法 [J].新疆大学学报(自然科学版)(中英文),2021.38(6):699-704.
[6] 蔡天旺,付胜.基于改进的SIFT算法的红外图像配准[J].测控 技术,2021.40(7):40-45.
[7] 王中军,晁艳锋.采用SURF特征和局部互相关信息的图像配 准算法[J].红外与激光工程,2022.51(6):492-497.
[8] 汪鹏,金立左.基于Canny边缘SURF特征的红外与可见光图 像配准算法[J].工业控制计算机,2020.33(4):64-65.
[9] 李忠勤,宋虎虎,周海超 .Surf结合区域生长的特征点提取改 进算法[J].黑龙江科技大学学报,2022.32(1):134-138.
[10] 阮理念,董燕 .改进的双通道自适应PCNN和NSST的遥感 图像融合[J/OL].激光与光电子学进展:1-18[2022-10-27].http:// kns.cnki.net/kcms/detail/31.1690.TN.20220713.1944.605 . html.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/55822.html
