多聚焦图像融合研究论文

SCI论文（www.lunwensci.com）

　　摘 要：多聚焦图像融合是指将多幅聚焦区域不一的原始图像融合成一张全局聚焦图像的技术。融合后的图像一般进一步 传递到下游分析,如监控、图像追踪、图像识别等机器视觉应用。从 20 世纪开始技术算法就不断发展。本文主要整理其宏观 研究轨迹,使感兴趣的学者能快速上手。研究方法主要可分为多尺度分析法、稀疏表示法、区域分割法、深度学习以及其他法。

　　(Chongqing College of International Business and Economics, Chongqing 401520)

　　【Abstract】： Multi-focus image fusion refers to the technique of fusing multiple original images with different focus areas into one global focus image. The fused image is generally further transmitted to the downstream analysis, such as monitoring, image tracking, image recognition and other machine vision applications. Since the 20th century, technological algorithms have evolved. This paper mainly arranges its macro research track, so that interested scholars can get started quickly. The research methods can be divided into multi-scale analysis method, sparse representation method, region segmentation method, deep learning and other mixed use of several methods.

　　【Key words】： multi-focus image fusion;multi-scale decomposition;sparse representation;deep learning

　　0 引言

　　由于相机成像景深问题,只能聚焦设定深度的物 体,不能全聚焦同一场景下深度不一的物体。如在监控 画面下,一块区域模糊一块区域清晰是不友好的。为了 解决这一问题,多聚焦融合技术顺应而生。多聚焦融合 是指对多幅聚焦区域不一的图像融合成一张全聚焦图像 的技术。融合后的图像包含所有源图像关键信息。尽量 减少冗余信息。对进一步计算机视觉任务如跟踪、数字 成像、语义分割、医疗诊断、模式识别等研究具有重要 意义。

　　多聚焦图像融合技术从 20 世纪开始研究已持续了 几十年。在国际 SCI 检索的相关论文数量不断攀升 [1]。 尤其最近几年,相关论文与融合结果质量都明显提升。 尤其是深度学习工具的提出,多聚焦图像融合质量更上 升了一个台阶。本文主要简单归纳从 20 世纪以来多聚焦图像融合领域研究算法的轨迹。使感兴趣的学者可以 快速上手研究,快速的进行宏观掌握。

　　本文主要把多聚焦图像融合技术分为 5 类。分别是 多尺度分析法、稀疏表示法、区域分割法、深度学习以 及其他法或混合使用法。接下来分别介绍。

　　1 多尺度分析法

　　基于金字塔的融合方法。拉普拉斯金字塔最为经 典。拉普拉斯金字塔的基本理论为 ：拉普拉斯金字塔是 在高斯金字塔方法下操作的。高斯金字塔是不断对原始 图像进行下采样,每下采样一次图像尺寸变小一次,下 采样次数越多得到的相应图像尺寸越小。多次下采样就 得到了多个层级图像。因高斯下采样后再上采样与原始 图像是有差异的,为了恢复原图像,需要记录每层级采 样后的差异。每级采样后与上级层的差异序列即为拉普 拉斯分解。其定义为 ：每层级图像减去高斯下采样后再上采样的图像。

　　Burt[2] 首次采用拉普拉斯金字塔理论应用到图像融 合。其方法是利用拉普拉斯分解理论对原始图像进行分 解,得到分解层级序列。然后比较分解后的系数,绝对 值大的判断为聚焦区域。选择最大的值作为融合系数。 结合此方法的融合研究不断出现,如 Jin[3] 提出自适应 脉冲耦合神经网络与拉普拉斯金字塔分解结合方法。该 方案采用拉普拉斯金字塔分解将源图像分解为相应的组 成子图像。根据子图像的梯度特征,计算空间频率以调 整 PCNN 的连接强度。然后利用 PCNN 模型生成子图 像的振荡频率图。具有良好的检测活跃度的能力。

　　常见的多尺度变换融合法是基于小波变换 [4]。基本 思路是首先对图像进行小波变分解得到四部分系数,分 别是水平方向、垂直方向、斜对角方向 3 个方向的高频 系数和一个低频系数。继续对低频系数做小波变换就能 得到多尺度下的小波分解系数。然后对不同原图像的分 解系数进行策略整合。最初的整合策略采用高频取绝对 值最大,低频的取平均。最后进行小波逆变换得到最终 的融合图像。适合多模态图像融合,如可见光与红外、 多模态医学等,得到的融合效果不错。

　　但分解的高频系数方向有限,且不具备平移不变 性。平移不变性是指多幅原图像配准不精准的情况下, 对最后融合结果不造成什么影响。为了解决此问题,学 者不断对小波进行改进。如 Hill[5] 提出基于双树复小波 法融合图像,在一定程度上解决了小波不具有平移不变 性问题。其大多数采用的融合策略是比较分解后系数大 小来判断聚焦区域。Tian[6] 提出一种新的基于小波融合 策略,使用局部自适应拉普拉斯混合模型评估小波系数 分布。然后利用方法进行聚焦区域判断,最后在小波域 中进行自适应图像融合。还有学者使用支持向量机等数 学方法与小波分析法结合进行图像融合等。

　　由于图像信息纵横交错,普通小波对图像中复杂边 界分析能力明显不足。小波系数在边界区域衰减性比较 大。为了解决衰减性问题,学者提出多尺度几何分析法。 对融合效果有一定的提升能力。如非下采样轮廓波分解 (NSCT)[7],首先分别对源图像执行相应尺度 NSCT 变换, 并获得相应的系数。接着采用基于方向矢量法进行低通 子带系数选择。带通方向子带系数选择原则采用基于方 向带限对比度和方向矢量标准差法。最后根据重建系数 进行 NSCT 逆变换,获得最终融合图像。并总结 NSCT 作为一种新的图像多尺度几何分析工具,由于具有多尺 度、定位、多方向和平移不变性等优点,更适合于图像 融合。除了轮廓波还有曲波、剪切波、以及其变种或改进等多尺度几何分析方法应用于多聚焦图像融合,其融 合效果均取得一定的成绩。

　　2 稀疏表示法

　　稀疏表示法一般算法思路是首先利用过完备字典对 源图像进行稀疏表示 ;然后采用定义的融合规则对系数 进行融合 ;最后根据组合后的稀疏系数和字典重构融合 图像。稀疏表示的思想认为信号均可由较少线性组合基 在过完备字典中表示。Yang[8] 首次提出采用稀疏表示 法应用于图像融合,融合规则采用选择最大值法作为融 合系数,最后根据融合系数与字典重构融合图像。巧妙 的是作者采用对原图像采用滑动窗口技术,对图像从左 到右从上到下进行分块进行稀疏表示后融合,最后根据 分块先后顺序拼接成融合图像。每块稀疏系数采用的是 正交匹配追踪 (OMP) 算法获取。由于一般图像纹理结 构复杂需要冗余度很高的字典,这样带来的代价就是计 算复杂度非常高。为了解决此问题, Liu[9] 等人提出的 自适应稀疏表示 (ASR) 模型。其思想不是训练一个字 典,而是从大量高质量的自然图像块中学习一组更紧凑 的子字典,这些图像块已经根据它们的梯度信息预先分 为几个相应的类别。在融合过程中,根据源图像块自适 应地选择一个子字典。这样就更加灵活且计算量也相对 减少。

　　学者认为稀疏编码中采用的是基于块的融合方式。 现有的基于稀疏表示的融合方法存在两个问题,即保持 细节的能力有限与对误配准的敏感性高,这两个问题 是图像融合中亟待解决的问题。注意到到卷积稀疏表示 (CSR)模型可以有效克服上述两个缺点,于是 Liu[10] 等人将卷积稀疏表示法引入图像融合,提出了一种基于 CSR 的图像融合框架。将源图像分解为一个基础层和一 个细节层,活跃度任然采用最大值法。根据基于窗口 的活跃度得到基础层与细节层融合系数,最后得到融合 图像。

　　源图像中除了互补信息外,还存在冗余信息。为提升 融合图像质量, Ma 提出一种基于联合稀疏表示 (JSR)[11] 的多聚焦图像融合法。首先,通过 K-means 奇异值分 解得到基于源图像本身的自适应字典。然后,将固定字 典与自适应字典相结合得到联合字典,利用最终的联合 字典对源图像进行稀疏编码,实现互补分量和冗余分量 的分离。接着,利用最优化理论对互补分量进行融合, 并通过正交匹配追踪算法得到最优解。最后得到融合 图像。

　　3 区域分割法

　　区域分割法大致思想是根据某种算法对多聚焦源图像进行判断聚焦区域,然后分割出聚焦区域。最后对聚 焦区域进行拼接成融合图像。早期 Li[12] 提出基于空间 频率聚焦度量的融合方法。融合过程第一步采用简单平 均法对多聚焦图像进行融合,然后利用归一化方法对平 均法融合图像的进行分割。接着根据分割结果对两幅源 图像进行分割,最后,根据空间频率对源图像对应的 分割区域进行融合。其学者在多对多聚焦图像上进行实 验。结果表明该方法能取得较好的效果。Duan 提出了 一种基于超像素和超像素均值滤波的区域融合方法 [13]。 首先,采用一种快速有效的分割方法在清晰度增强的平 均图像上生成超像素。通过平均每个超像素的清晰度信 息,在不同源图像中区域选择更清晰的超像素,形成融 合的初始决策图。然后采用基于超像素的均值滤波技 术,形成最终的决策图。源图像根据最终决策图拼接成 融合图像。还有学者提出基于小块区域分割法。如 Li[14] 提出基于空间频率图像融合法。算法步骤为,首先将源 图像 A 和 B 分解为大小为 M×N 的块。然后计算每个 块的空间频率,根据频率值相关计算融合图像的第 i 个 块。如果中心块来自 A,但其周围的大部分块来自 B, 则该中心块将被更改为来自 B,反之亦然。最后根据以 上步骤融合成为最终图像。其方法简单有效,计算代价 也低。但缺点是窗口大小无法确定最优。Guo[15] 等人也 提出了一种基于块的多聚焦图像融合方法。但其分块方 法与 Li 基于空间频率图像融合法 y 有一定区别。Guo 首先将图像划分为多个重叠的方形块,然后搜索相似的 块。接着利用图像相似度信息生成自适应区域。然后估 计深度信息,接着图像梯度结合深度信息衡量自适应区 域清晰度。最后对源图像加权得到融合图像。

　　除了空间频率度量聚焦区域,还有其他方法,例如 ： 分数阶微分、方差、梯度能量 (EOG)、拉普拉斯能量 (EOL)、和修正拉普拉斯能量 (SML) 等。Liu[16] 等人提 出比较新颖的度量方法稠密尺度不变特征变换 (DSIFT)。 其应用于多聚焦图像融合方法步骤为 ：首先通过滑动窗 口技术,使用 DSIFT 描述子测量源图像块的活动水平, 获得初始决策图。然后通过特征匹配和局部焦点度量比 较对决策图进行优化。最后根据优化后的决策图对源图 像加权得到最终的融合图像。作者表示局部特征描述子 不仅可以作为活动水平的度量,还可以用于匹配多源图 像之间的误配准像素,以提高融合图像的质量。尺度不 变特征变换对图像处理领域算法开发具有较大潜力。

　　4 基于深度学习法

　　基于深度学习图像融合法是目前比较火的话题。首 先,其基本思想是通过预训练网络获得聚焦区域估计,后通过一系列融合规则得到融合图像 ;其次是直接通过 融合网络直接得到融合图像。依据上述思想,学者将基 于深度学习多聚焦图像融合法归为两类,分别是基于决 策图的方法和端到端方法 [17]。

　　Liu[18] 首先提出基于决策图深度学习法在多聚焦图 像融合上。基本框架是先采用由高质量图像块与模糊块 训练深度卷积神经网络(CNN)。然后通过学习 CNN 模型来联合生成聚焦水平得分图。接着采用基本图像处 理手段(膨胀、腐蚀)等得到最终的决策图。最后利用 决策图与源图像进行加权得到融合图像。

　　端到端融合网络也可分为单流结构与双流结构。如 Li[19] 等人提出基于 U-Shaped 网络单流结构法。首先, 它使用 U-Shaped 网络作为特征提取器,提取低频信 息和高频纹理信息。其中设计了一种基于结构相似度 (SSIM) 损失函数函数来训练网络。此外,采用加权策 略来合并 YCbCr 颜色空间中的色度分量,以便在颜色融 合结果中几乎消除颜色失真。取得了良好的优秀效果。

　　Zhang[20] 等人提出基于 CNN 的双流结构端到端融 合方法。其思想首先利用两个卷积层从多个输入图像中 提取显著的图像特征。然后,通过根据输入图像的类型 选择的适当的融合规则(元素最大值、元素最小值或元 素平均值)来融合多个输入图像的卷积特征。最后,通 过两个卷积层重建融合特征得到融合图像。作者指出多 曝光图像使用元素平均融合规则融合,并使用元素最大 融合规则融合其他类型的图像,包括多焦点图像、红外 和视觉图像以及多模态医学图像。

　　5 其他方法或混合法

　　一些学者分析了图像性质与不同研究算法,采用混 合使用法进行融合,取得了不错的融合效果。如 Liu[21] 等人提出多尺度分析与稀疏表示结合使用法。首先对源 图像先进行多尺度变换,得到他们的高频系数与低频系 数。然后使用稀疏表示法融合低频系数,采用选取绝对 值最大法融合高频系数。最后通过多尺度逆变换最终获 得融合图像。



　　6 总结

　　本文主要从 20 世纪到现在多聚焦图像融合领域算 法进行整理,总结并罗列出具有代表性节点的研究性成 果。其把研究方法主要归为多尺度分析法、稀疏表示 法、区域分割法、深度学习以及其他法或混合法等 5 个 类,以便学者迅速掌握脉络并作出显著性成果。

　　参考文献

　　[1] LIU Y,WANG L,CHENG J,et al.Multi-focus Image83Fusion:A Survey of the State of the art [J].Information Fusion,2020.64:71-91.
　　[2] BURT P J,ADELSON E H.Merging Images Through Pattern Decomposition[C]//Proceedings of the Optics & Photonics,1985.173-181.
　　[3] JIN X,HOU J,NIE R,et al.A Lightweight Scheme for Multi-focus Image Fusion[J].Multimedia Tools and Appli cations,2018.77:23501-23527.
　　[4] HAMZA A B,HE Y,KRIM H,et al.A Multiscale Approach to Pixel-level Image Fusion[J].Integr Comput Aided Eng,2005.12:135-146.
　　[5] CHAI Y,LI H,GUO M.Multifocus Image Fusion Scheme Based on Features of Multiscale Products and PCNN in Lifting Stationary Wavelet Domain[J].Optics Co mmunications,2011.284:1146-1158.
　　[6] TIAN J,CHEN L.Adaptive Multi-focus Image Fusion Using a Wavelet-based Statistical Sharpness Measure[J]. Signal Processing,2012.92(9):2137-2146.
　　[7] ZHANG Q,GUO B L.Multifocus Image Fusion Using the Nonsubsampled Contourlet Transform[J].Signal Pro cessing,2009.89(7):1334-1346.
　　[8] YANG B,LI S T.Multifocus Image Fusion and Restoration With Sparse Representation[J].Ieee Transactions on Instrumentation and Measurement,2010.59(4):884-892. [9] LIU Y,WANG Z.Simultaneous Image Fusion and Denoising with Adaptive Sparse Representation[J].Iet Image Processing,2015.9(5):347-357.
　　[10] LIU Y,CHEN X,WARD R K,et al.Image Fusion With Convolutional Sparse Representation[J].Ieee Signal Processing Letters,2016.23(12):1882-1886.
　　[11] MA X L,HU S H,LIU S Q,et al.Multi-focus Image Fusion Based onJoint Sparse representation and Optimum Theory[J].Signal Processing-Image Communication,2019.78:125-134.
　　[12] LI S T,YANG B.Multifocus Image Fusion Using Region Segmentation and Spatial Frequency[J].Image and Vision Computing,2008.26(7):971-979.
　　[13] DUAN J W,CHEN L,CHEN C L P.Multifocus Image Fusion Using Superpixel segmentation and Superpixel- based Mean Filtering[J].Applied Optics,2016.55(36):10352- 10362.
　　[14] LI S,KWOK J T-Y,WANG Y.Combination of Images with Diverse Focuses Using the Spatial Frequency[J].Inf Fusion,2001.2:169-176.
　　[15] GUO D,YAN J,QU X.High Quality Multi-focus Image Fusion using Self-similarity and Depth Information[J]. Optics Communications,2015.338:138-144.
　　[16] LIU Y,LIU S P,WANG Z F.Multi-focus Image Fusion with Dense SIFT[J].Information Fusion,2015.23:139-155. [17] ZHANG X C.Deep Learning-Based Multi-Focus Image Fusion:A Survey and a Comparative Study[J].Ieee Transactions on Pattern Analysis and Machine Intelligence,2022.44(9): 4819-4838.
　　[18] LIU Y,CHEN X,PENG H,et al.Multi-focus Image Fusion with a Deep Convolutional Neural Network[J].Information Fusion,2017.36:191-207.
　　[19] LI H G,NIE R C,CAO J D,et al.Multi-focus Image Fusion Using U-Shaped Networks With a Hybrid Objective [J].Ieee Sensors Journal,2019.19(21):9755-9765.
　　[20] ZHANG Y,LIU Y,SUN P,et al.IFCNN:A General Image Fusion Framework Based on Convolutional NeuralNetwork[J].Information Fusion,2020.54:99-118.
　　[21] LIU Y,LIU S P,WANG Z F.A General Framework for Image Fusion Based on Multi-scale Transform and Sparse Representation[J].Information Fusion,2015.24:147-164.
 
 
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/60719.html