SCI论文（www.lunwensci.com）:
摘要：针对目前图像去雾算法存在特征提取不充分、不能差异化处理导致算法去雾效果差和颜色失真等问题,提出一种基于自校准卷积与特征注意力的图像去雾算法。首先采用自校准卷积模块替代传统卷积模块,扩大网络的感受野并丰富网络的输出特征；其次引入特征注意力模块,对不同通道的所有权重和不同图像像素上分布不均匀的雾度进行差异化处理改善去雾效果,最后结合局部与全局残差学习,进一步提升网络的训练效果。实验结果表明,该算法处理后的图像峰值信噪比(PSNR)和结构相似性(SSIM)的平均值分别为29.799dB和0.967,与对比算法相比分别提高12.9%和3.4%。
关键词：图像去雾；自校准卷积；特征注意力；残差网络；深度学习
Image Dehazing Algorithm Based on Self-calibrated Convolution and Feature Attention
YANG Yi1,HE Tao1,XU He2,3,XU Guangfeng1
(1.College of Electronic and Optical Engineering,College of Flexible Electronics(Future Technology),Nanjing University of Posts and Telecommunications,Nanjing Jiangsu 210023;2.College of Computer,College of Software,College of Cyberspace Security,Nanjing University of Posts and Telecommunications,Nanjing Jiangsu 210023;3.School Jiangsu Key Laboratory of Wireless Sensor Network High Technology Research,Nanjing University of Posts and Telecommunications,Nanjing Jiangsu 210003)
【Abstract】：Aiming at the problems of insufficient feature extraction and inability to differentiate processing in current image dehazing algorithms,resulting in poor dehazing effect and color distortion,an image dehazing algorithm based on self-calibration convolution and feature attention is proposed.Firstly,the self-calibration convolution module is used to replace the traditional convolution module to expand the receptive field of the network and enrich the output features of the network;Secondly,the feature attention module is introduced to analyze all the weights of different channels and the uneven distribution of haze on different image pixels.Differentiated processing to improve the dehazing effect,and finally combined with local and global residual learning to further improve the training effect of the network.The experimental results show that PSNR and SSIM of the images processed by the algorithm are 29.799dB and 0.967,respectively,which are 12.9%and 3.4%higher than those of the comparison algorithms,respectively.
【Key words】：image dehazing;self-calibrating convolution;feature attention;residual network;deep learning
0引言
随着工业的加速发展,空气污染出现的频率越发频繁。当雾霾等空气污染发生时,空气中含有大量微小悬浮颗粒和气溶胶,光经过这些颗粒时会发生折射和散射等现象[1-3],进而影响图片的拍摄质量。此时拍摄的图片存在颜色偏差、细节丢失和对比度差等问题,增加后续视觉处理如目标检测、图像分类、语义分割的难度。因此,如何有效将有雾模糊的退化图像还原成无雾清晰图片越来越受到研究人员的广泛关注。
图像去雾算法分为传统去雾算法和基于深度学习的图像去雾算法,传统去雾算法包括：(1)基于物理模型的图像复原算法,其主要通过分析雾图形成原理以及建立光散射和衰减的大气散射模型,利用先验知识估算大气光及透射率复原有雾模糊的退化图像,其代表有：暗通道先验去雾算法[4](Dark Channel Prior,DCP)、颜色衰减先验去雾算法[5](Color Attenuation Prior,CAP)等；(2)基于图像增强的去雾算法,其通过增强对比度的方法改善图像质量,其代表有：直方图均衡化[6]、Retinex理论[7]等。但上述去雾方法均过于依赖先验知识,具有一定的局限性。
基于深度学习的图像去雾算法改善了传统去雾算法的不足,利用卷积神经网络(Convolutional Neural Network,CNN)的表征学习能力学习目标参数。Li等[8]通过转换传统大气散射模型来估计参数K的去雾神经网络(AOD-Net),该方法过度依赖先验知识去雾程度较弱；Chen等[9]引入平滑空洞卷积构造出门控上下文聚合去雾网络(GCA-Net),该方法存在浓雾区域、强光区域去雾效果不佳的问题；Shao等[10]采用双向变换网络构造域适应(Domain Adaptation)去雾网络,该方法去雾效果尚可但适用性不强；Ren等[11]提出了基于多尺度卷积神经网络的去雾算法(MSCNN),该方法存在训练样本过少时图像的透射率估计不准确的问题；Cai等[12]提出DehazeNet,该方法在一定程度上提高了去雾效果,但依旧存在去雾不彻底或去雾过度等问题。
针对上述方法存在的不足,本文提出一种结合自校准卷积与注意力机制的图像去雾算法。该算法利用自校准卷积在不增加额外参数的前提下扩大神经网络的感受野；在去雾过程中加入由通道注意力模块和像素注意力模块组成的特征注意力模块,实现对不同通道与像素的差异化处理,将更多注意力集中在重要通道信息和浓雾像素区域上改善去雾效果；最后结合局部残差学习与全局残差学习,避免因网络层数过深而导致网络性能退化的问题。
1相关工作
1.1本文方法
本文基于基本块结构块设计了具有跳跃连接结构的群结构(Group Architecture),群结构中包含的多个基本块结构赋予网络足够的深度和提取能力,为平衡网络性能和计算效率,每个群结构都设置10个基本块,而每个基本块中的残差结构保证算法不会因网络层数过大而导致网络训练效果变差。同时,基本块中的特征注意力模块保证当输入的图像中有浓雾区域时可针对性的处理,提升网络的去雾效果。网络整体层数为1129,尽管网络层数较深,但网络去雾效果提升明显,也改善了颜色失真和去雾过度的问题。
基于自校准卷积与特征注意力的图像去雾模型如图1所示。具体去雾流程如下：首先输入一张有雾图像尺寸为(3,240,240),将图像传递到一个卷积层中实现浅层0特征信息的提取此时图像尺寸为(64,64,64)；其次经过3个具有跳跃连接结构的群结构中,输出的特征图尺寸均为(64,64,64)；再经过一个特征注意力模块此时特征图尺寸为(64,64,64)；最终输出特征被传递到两层卷积层当中完成重构,结合全局残差学习结构得到尺寸为(3,240,240)的无雾图像。
1.2基本块结构
本文参考ResNet中残差连接结构,设计了基本块结构。基本结构块(Basic Block Structure,BS)如图2所示。该结构由两层卷积层、一个ReLU激活函数以及一个特征注意力模块构成。局部残差学习即保留正向传播的特征,多个基本块的使用也避免网络层数过深带来训练效果变差的问题。
理论上,网络层数越多其训练效果越好,因为每层神经网络能够采集到不同的特征信息,而这些特征信息可组合的方式也越多。考虑到深度学习神经网络如VGGNet[13]等,当它们的层数在不断加深时训练错误会先减少再增加,一味加深网络层数并不能带来过多的正向收益,反而网络层数过深会带来如梯度消失、梯度爆炸等问题,ResNet[14]的提出改善了这些问题,即使网络层数再深,神经网络的训练也能有合适的效果。
1.3自校准卷积模块
为赋予去雾网络足够的感受野,进而使网络获得更多的高级语义,本文引入自校准卷积模块SCNet[15]。传统的卷积模块中预定义的卷积核大小控制每个空间位置的感受野,存在感受野获取不足的问题。自校准卷积将一个标准的卷积操作拆分成多个小卷积操作,在不引入额外参数的前提下扩大全局感受野,提升网络去雾效果。自校准卷积模块结构如图3所示。X1和X2为输入特征图,Y1和Y2为输出特征图；Convi(i=1,2,3,4)为拥有不同大小卷积核的卷积层。
SCNet操作分为两部分：第一部分为图3中虚线框部分即自校准操作,第二部分为传统卷积操作。给定输入X大小为C×H×W,将其分成两个特征图X1和X2。对X1进行自校准操作,该操作分为三个并行支路,支路1不进行操作；支路2操作可表示为如式(1)所示：
式中:AvgPoolr代表平均池化操作。
先将X1进行尺寸为r×r、步长为r的平均下采样得到T1；将T1输入到Conv1卷积层进行卷积操作进行r倍的上采样操作得到X1',如式(2)所示：
式中：UP(·)代表上采样操作,“•”表示逐元素乘运算。
将X1和X1'求和并经过Sigmoid操作得到权重值,权重值与支路3的结果(即X1经过Conv2卷积的结果)
相乘得到Y1',如式(3)所示：
式中：σ为Sigmoid激活函数。
对Y1'进行卷积操作Conv3得到自校准后的最终输出Y1。
第二部分为传统的卷积操作目的是为保留空间上下文关系,X2经过Conv4卷积层得到Y2。最终通过Concat操作将Y1和Y2连接起来得到最后的输出特征图。
1.4特征注意力模块
目前大多数深度学习去雾算法并未对不同的通道和像素加以区别处理,但大量研究表明,不同的通道特征其加权信息完全不同,雾图中雾的分布也分薄厚,其薄雾区域与厚雾区域的像素权重也截然不同。因而平等的对待雾图中各区域的通道特征和像素特征会浪费大量计算资源,也不能对需要额外注意的重要信息进行特殊处理,进而限制网络的去雾能力。注意力机制的提出改善了这一问题。
本文在网络中加入由通道注意力模块和像素注意力模块组成的特征注意力模块[16](Feature Attention Module,FA),该模块使网络更加关注浓雾区域像素和重要的通道信息,进而提升去雾效果。特征注意力模块如图4所示。
1)通道注意力模块
通道注意力中使用平均池化来描述通道中全局空间信息,平均池化操作如式(4)所示：
式中：gc为第c个通道输出的特征图；Fc为输入的第c个通道的特征图；Hp为池化函数；Xc(i,j)代表第c个通道Xc在(i,j)处的值；H为图片的高度,W为图片的宽度。
在此过程中的特征图形状由C×H×W转换为C×1×1,此时网络仅需关注特征图的通道信息。将形状为C×1×1的特征图再次输入到卷积层、ReLU激活函数、卷积层和Sigmoid激活函数中,从而获得不同通道的权重信息CAc,如式(5)所示：
式中：CAc为通道c处的权重；卷积核大小为C×3×3；δ为ReLU激活函数。
最后将原始输入特征图Fc和通道权重CAc逐像素相乘得到通道注意力模块的输出特征图Fc',Fc'的尺寸恢复为C×H×W进而实现区别对待雾图中的通道特征。
2)像素注意力模块
将Fc'输入到像素注意力部分中,与通道注意力部分相似将Fc'输入到卷积层、ReLU激活函数、卷积层和Sigmoid激活函数中得到像素权重PA,如式(6)所示：
式中：卷积核大小为3×3。
经过像素注意力模块输出的特征图尺寸由C×H×W转换为1×H×W,该部分的卷积操作将特征图的通道数由C变为1。最终将输入的Fc'和像素权重PA按逐像素相乘得到最终输出F,此时特征图F的尺寸变为C×H×W,特征图实现对雾图中不同的像素特征区别对待。
2实验及结果分析
2.1数据集
本文使用RESIDE[17]训练数据集。RESIDE数据包含室内合成图像数据集(ITS)和室外合成雾天图像数据集(OTS)。实验中使用ITS作为室内去雾训练集,使用OTS作为室外去雾训练集,在综合目标测试数据集(SOTS)中选取室内图像和室外图像各500张作为测试集。
2.2参数设置
由于L1损失函数[18]的图像去雾算法在峰值信噪比(PSNR)和结构相似性(SSIM)指标上均表现出良好的图像去雾算法性能,本文采用L1损失函数来定量描述雾图与真实图像之间的差异。L1损失函数如式(7)所示：
式中：Θ为SCFA-Net的参数,Igt为真实地面情况,Ihaze为有雾图像输入。
整个模型在室内和室外数据集上迭代训练100轮,每轮训练1000张图片,共计训练1×105次,采用Adam优化器,β1和β2分别采用默认值0.9和0.999。设置初始学习率为0.0001,网络采用余弦退火策略[19]通过跟随余弦函数将学习率从0.0001调整为0,第t次迭代中学习率为ηt。具体计算过程如式(8)所示：
式中：t为当前迭代次数,T为总迭代次数,η为初始收益率。
2.3基于合成雾图的结果与分析
峰值信噪比(PSNR)和结构相似性(SSIM)是在图像复原处理中用来客观有效评估去雾后图像质量的常见指标,本文选用这两项指标来量化复原后无雾图像的质量。PSNR值越大代表去雾后的图像越接近真实图像,SSIM值越大表明去雾图像的失真程度越小。为验证本文算法有效性,本节将本文算法与目前几种具有代表性去雾算法分别为AOD-Net[8]、CAP[5]、LD-Net[20]、MsCNN[11]和GCA-Net[9]进行比较。各算法在SOTS数据集上训练后各自PSNR和SSIM参数值如表1所示。
由表1可知,本文算法得到的去雾图像的PSNR和SSIM值均高于对比算法。在峰值信噪比PSNR指标上：AOD-Net算法、CAP算法、LD-Net算法及MsCNN算法均在20.00dB以下；GCA-Net算法的峰值信噪比达到26.392dB,较前四种算法有明显的提升。而本文算法的PSNR比GCA-Net算法提升3.407dB。在结构相似性SSIM方面：AOD-Net算法、CAP算法、LD-Net算法和MsCNN算法均未达到0.900,而本文算法的SSIM最高,比GCA-Net算法高出0.032。
另外在SOTS数据集上随机抽出三张合成雾图进行主观质量评价,各对比算法的实验结果如图5所示。其中,CAP算法去雾后的图像颜色偏深(如图5(b)中的大厦阴影处),且在雾的浓度较高时会出现去雾不彻底的现象(如图5(b)中的碗橱处)。AOD-Net算法去雾后的图像存在颜色失真(如图5(c)中大楼玻璃发白)和浓雾时去雾不彻底的情况(如图5(c)中的碗橱处)。LD-Net算法去雾后的图像容易存在去雾不彻底的情况(如图5(d)中的碗橱和长桌处)。MsCNN算法去雾效果较差,每幅图像中均存在去雾不彻底的情况(如图5(e)中的三幅图)。GCA-Net算法去雾效果较好,但易出现去雾过度使得细节部分发黑的情况(如图5(f)中第二幅图片画框处和第三张图片远处的天空)。相比上述算法,本文算法因加入的特征注意力模块对浓雾区域赋予更多计算资源进而能更好实现去雾效果,也能避免颜色失真。
2.4真实场景去雾结果及分析
为进一步有效验证本文提出基于自校准卷积与特征注意力的图像去雾算法在真实场景中的去雾效果,本节在两张经典的真实雾图上进行各算法的对比实验,实验结果如图6所示。如图6(b)中建筑物远处所示,CAP算法去雾后的图像残雾较多；并仍存在去雾后的图像颜色过深的问题,如图6(b)中山谷中山林所示。由图6(c)—图6(e)可知,AOD-Net算法、LD-Net算法、MsCNN算法因平等地对待雾图中的通道特征和像素特征,而没有针对浓雾区域对浓雾区域去雾,表现出其算法去雾效果较差。
由图6(f)可知,GCA-Net算法去雾后的图片出现极度颜色失真的情况,山谷发黑情况十分严重。由图6(g)可知,本文算法去雾图片虽存在一些残雾,但去雾效果均优于上述算法,并能保留原有的颜色不致其失真。
2.5消融实验
为验证本文所提算法中各模块的有效性,在SOTS室内测试集上进行以下消融实验：(1)包含特征注意力模块与残差结构的实验A；(2)包含特征注意力模块和自校准卷积模块组成的实验B；(3)包含特征注意力模块、自校准卷积模块和残差结构的实验C。
三种实验在SOTS数据集中的效果如表2所示。从表2可以看出,包含自校准卷积模块和残差结构的实验C的峰值信噪比分别比未使用自校准卷积模块的实验A和未使用残差结构的实验B分别提升了1.16dB和3.65dB；并且实验C的结构相似性与实验A、实验B相比均有一定的提升。综合表2可知,具有自校准卷积模块和残差学习的实验C的PSNR和SSIM在三个实验中最优,即本文算法加入的自校准卷积模块和残差结构具有实际的有效性。
3结语
本文提出一种基于自校准卷积与特征注意力的图像去雾算法,该算法利用自校正卷积模块引入自适应响应操作,使卷积网络的感受野更大且输出特征更加丰富,从而改善网络的去雾效果。引入特征注意力机制,提升模型差异化处理的能力,最终结合局部残差学习和全局残差学习提升网络的性能,得到较好的去雾效果。经过一系列对比实验表明本文算法的客观指标均优于对比算法,去雾效果更佳,并通过消融实验验证本文算法中引入的模块与设计的结构具有实际的有效性。
参考文献
[1]冷建伟,李鹏.基于高阶马尔科夫随机场的单幅图像去雾算法[J].图学学报,2017,38(5):745-753.
[2]高珠珠,魏伟波潘振宽,等.结合暗通道先验与Hessian正则项的图像去雾[J].图学学报,2020,41(1):73-80.
[3]陈永,郭红光,艾亚鹏.基于多尺度卷积神经网络的单幅图像去雾方法[J].光学学报,2019,39(10):149-158.
[4]HE K M,SUN J,TANG X O.Single Image Haze Removal Using Dark Channel prior[C]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami,FL,USA:IEEE,2009:1956-1963.
[5]ZHU Q S,MAI J M,SHAO L.A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior[J].IEEE Transactions on Image Processing,2015,24(11):3522-3533.[6]STARK J A.Adaptive Image Contrast Enhancement Using Generalizations of Histogram Equalization[J].IEEE Transactions on Image Processing,2000,9(5):889-896.[7]Ted Cooper,Farhan Baqai.Analysis and Extensions of the Frankle-McCann Retinex algorithm[J].Journal of Electronic Imaging,2004,13(1):85-92.
[8]LI B Y,PENG X L,WANG Z Y,et al.AOD-Net:All-in-One Dehazing Network[C]//Proceedings of2017 IEEE International Conference on Computer Vision(ICCV).Venice:IEEE,2017:4780-4788.
[9]CHEN D D,HE M M,FAN A N,et al.Gated Context Aggregation Network for Image Dehazing and Deraining[C]//Proceedings of2019 IEEEWinter Conference onApplications ofComputerVision(WACV).Waikoloa:IEEE,2019:1375-1383.[10]SHAO Y J,LI L,REN W Q,et al.Domain Adaptation for Image Dehazing[C]//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Seattle:IEEE,2020:2805-2814.
[11]REN W Q,LIU S,ZHANG H,et al.Single Image Dehazing Via Multi-scale Convolutional Neural Networks[C]//Proceedings of European Conference on Computer Vision(ECCV).Amsterdam:Springer,2016:154-169.
[12]CAI B,XU X M,JIA K,et al.Dehazenet:An End-to-end System for Single Image Haze Removal[J].IEEE Trans Image Process,2016,25(11):5187-5198.
[13]SIMONYAN K,ZISSERMAN A.Very Deep Convolutional Networks for Large-scale Image Recognition[J].ArXiv Preprint ArXiv,2014.
[14]HE K M,ZHANG X Y,REN S Q,et al.Deep Residual Learning Forimage Recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:IEEE,2016:770-778.
[15]LIU JJ,HOU Q B,CHENG M M,et al.Improving Con-volutional Networks with Self-calibrated Convolutions[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),June 13-19,2020,Seattle,WA,USA.New York:IEEE Press,2020:10093-10102.
[16]QIN X,WANG Z,BA Y,et al.FFA-Net:Feature Fusion Attention Network for Single Image Dehazing[C]//Proceedings ofthe AAAI Conference on Artificial Intelligence.New York:AAAI,2020:11908-11915.
[17]LI B,REN W,FU D,et al.Benchmarking Single-image Dehazing and Beyond[J].IEEE Trans Image Process,2018,28(1):492-505.
[18]LIM B,SON S,KIM H,et al.Enhanced Deep Residual Networks for Single Image Super-resolution[C]∥IEEE Conference on Computer Vision and Pattern Recognition Workshops,2017:1132-1140．
[19]HE T,ZHANG Z,ZHANG H,et al.Bag of Tricks for Image Classification with Convolutional Neural Networks[C]∥2019 IEEE/CVF Conference on Computer Vsion and PtternRecoi a Gnition.Long Beach:IEEE Press,2019:558-567.
[20]ULLAH H,MUHAMMAD K,IRFAN M,et al.Light-DehazeNet:A Novel Lightweight CNN Architecture for Single Image Dehazing[J].IEEE Trans Image Process,2021,30:8968-8982.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/46344.html
