SCI论文（www.lunwensci.com）
摘要：光伏组件大多长期在野外环境下工作，其表面容易发生异物遮挡或光伏组件中电池片温度出现异常，由此影响整个电池组件的功率转化。为提高光伏系统发电效率，降低运行和维护的成本，提出一种基于特征融合多尺度卷积网络的光伏组件红外图像故障诊断方法。首先，使用两层3*3卷积层从光伏组件红外图像中提取浅层的特征作为网络输入；其次，采用多尺度卷积模块提取更丰富的图像特征，并引入注意力机制，加强特征学习；然后，使用Concat模块实现网络各级提取特征进行融合，有效融合深层和浅层的图像特征；最后，使用Softmax分类器进行类别划分。为了克服原始数据集类分布不均衡的问题，采用离线数据增强的方法进行过采样，以及批归一化技术，降低模型过拟合。实验中，利用11种类型的光伏组件故障，如开裂、二极管、热点、离线模块和其他类别等。实验结果表明，基于本文方法的红外图像检测准确率可达到92.52%，具有较强的参考价值。
关键词：光伏组件；红外图像；故障诊断；多尺度卷积；特征融合
Infrared Image Fault Diagnosis of Photovoltaic Modules Based on Feature Fusion Multi-scale Convolutional Network
Lai Chunqing，Huang Yong，Zhu Zhe，Liu Zewei，Zeng Xiaolong
(College of Intelligent Systems Science and Engineering,Hubei Minzu University,Enshi,Hubei 445000,China)
Abstract:Most photovoltaic(PV)modules work in the field environment for a long time,and their surface is prone to foreign object occlusion or abnormal cell temperature in PV modules,which affects the power conversion of the entire cell module.In order to improve the power generation efficiency of photovoltaic system and reduce the cost of operation and maintenance,a fault diagnosis method of infrared image of photovoltaic module based on feature fusion multi-scale convolutional network is proposed.Firstly,two 3*3 convolutional layers are used to extract shallow features from the infrared image of photovoltaic modules as network input.Secondly,the multi-scale convolution module is used to extract richer image features,and the attention mechanism is introduced to strengthen feature learning.Then,the Concat module is used to extract features at all levels of the network for fusion,and effectively fuse deep and shallow image features.Finally,the Softmax classifier is used for class division.In order to overcome the problem of unbalanced distribution of the original data set,the offline data enhancement method is used for oversampling and batch normalization technology to reduce the overfitting of the model.In the experiment,11 types of photovoltaic module faults are utilized,such as cracking,diodes,hot spots,offline modules,and other categories.The experimental results show that the accuracy of infrared image detection based on the proposed method can reach 92.52%,which has strong reference value.
Key words:photovoltaic modules;infrared images;fault diagnosis;multiscale convolution;feature fusion
0引言
随着工业技术的发展，化石燃料的不断消耗造成了严重的疾病、环境污染和生态不平衡以及不可再生资源的枯竭，太阳能作为一种清洁能源，开始引起世界各国的高度重视[1]。光伏组件作为光伏发电系统的核心组成部分，长时间在户外工作，受到野外环境和气候影响，易出现不同程度的缺陷和损伤[2]。随着太阳能光伏发电规模的扩大，光伏组件异常问题日益严重，需要开发快速、可靠、高效的光伏系统故障检测和分类技术，及时发现和修复模块故障，以提高其寿命，维持系统的正常运行。
近年来，国内外学者对光伏组件故障诊断进行了大量研究，现有研究主要分为两类：电气特性分析法[3]和红外图像检测法[4]。电气特性分析法是通过检测光伏组件输出电压、电流等特性来检测其是否发生故障和故障定位的。然而，这种方法需安装大量传感器进行数据采集，并且光伏板中可能发生的一些故障会引起电流-电压(I-V)曲线的变化，这些变化很难被检测出来，这使得异常检测变得困难的同时，也增加了故障检测系统的耗时和安装成本[5-6]。红外图像检测使其更加简化了系统的监测和维护，并提供了较低的运行成本，其主要是利用无人机航拍得到的红外图像，再通过图像处理检测光伏组件的故障[7]。随着人工智能的发展，基于深度学习的从光伏组件红外图像中自动检测和分类异常变得更加高效和准确[8]，因此该方法在故障检测方面得到广泛应用。
卷积神经网络(CNN)是一种典型的深度学习网络模型，具有很好的特征提取的能力，唐伟等[9]提出了一种基于卷积神经网络(CNN)模型的光伏组件故障检测方法，利用传统的图像处理和生成对抗网络方法对样本进行增强，来增强图像特征提取能力。文献[10]采用残差网络结构设计了一个分类神经网络模型，利用同一非平衡数据集中的红外图像对太阳能组件异常进行诊断分类，对12种异常类型的正确分类率达到了86%。文献[11]利用VGG-16卷积神经网络对光伏组件红外图像进行故障诊断，可增强图像特征提取能力，但网络模型参数量较大，训练时间较长。贾帅康等[12]设计了一种基于多尺度残差和注意力机制相结合的新型卷积神经网络，进行光伏组件红外图像的故障诊断，具有良好的效果，但对于具体的故障类型无法识别。
针对光伏组件红外图像的故障诊断，目前现有的研究方法普遍存在故障检测类别单一、实用性较差等问题，且缺少针对具体任务的优化算法，传统的CNN网络仅通过简单的叠加卷积层数无法有效地利用各级卷积层提取的特征信息，导致浅层图像特征信息的缺失，图像分类难以达到预期的效果。针对以上问题，本文设计了基于特征融合多尺度卷积网络的光伏组件红外图像故障诊断模型，该方法对光伏组件故障类型进行了11种分类。网络模型采用多尺度卷积模块组成的主干网络，且在其中嵌入通道注意力机制，获取特征图每个通道的重要程度，提取图像更为精确的特征信息，进一步提高模型特征提取的能力；通过特征融合充分利用各级卷积层提取的特征信息，有效避免了特征信息缺失的问题。实验证明，该方法有效提升了光伏组件红外图像故障诊断的精度。
1研究方法
本文提出基于特征融合多尺度卷积网络的光伏组件红外图像故障诊断模型。模型整体结构如图1所示，主要由CNN模块，注意力多尺度卷积模块，特征融合模块，池化层和全连接层组成。首先通过两个卷积和为3*3的卷积模块进行浅层特征的提取，提取低级空间信息；其次由三层多尺度卷积模块堆叠而成的网络提取更为丰富的高级语义特征；然后，使用Concat模块[13]实现特征融合，有效融合深层和浅层的图像特征；最后模型通过2层全连接网络实现对输入红外图像的类别划分，得到最终结果。
1.1 CNN模块
本文提出的模型结构以卷积作为网络的基本组件，每个CNN模块都包括3层：卷积层、批归一化(Batch Normalization，BN)层[14]和激活层，其中浅层的卷积层用于提取图像边缘和形状等低级的图像特征。卷积运算公式如下：
式中：X为k层输出的第i个特征图；W为第k层第i个卷积的权重值；*为卷积运算符；Xjk-1为第k-1层输出第j个特征图；Nk-1为第k-1层输出特征图集合；b为第k层第i个卷积的偏置项。
BN层可以降低模型过拟合，提高泛化能力，加快模型收敛速度，防止梯度爆炸或梯度消失。
激活函数可以让输入输出之间形成非线性映射，线性整流函数(Rectified Linear Unit，ReLU)具有良好的非饱和特性与单刷抑制，在训练过程中可以提高模型的学习速率和表达能力[15]。激活函数如下：
其中，X为各个像素值。
1.2多尺度卷积模块
由于普通3*3大小的卷积层的特征提取方法单一，不能从光伏组件红外图像中充分提取异常细节特征，为了解决这一问题，提出改进多尺度卷积模块，该模块在3*3卷积层的序列连接中增加了两个新的卷积分支，这些分支包括具有大小为两个3*3卷积串行和5*5卷积串行的卷积组成，不同尺寸的卷积和有不同大小的感受野，在深度神经网络中，较大的感受野能够提取出图像中抽象的语义信息，可以从全局视角下描述图像的本质属性，然后通过concat并联连接，将三通道特征融合，在改进多尺度卷积模块内使用1*1的卷积核对通道进行降维，降低模型的复杂度，并通过在模块中加入注意力机制，提取图像更为精准的信息。由此，在减少网络参数量的同时，提高图像特征的提取能力，提高模型对光伏组件红外图像特征提取速度和模型表达能力。
具体的提取过程：通过前两层卷积提取图像浅层特征，输入到改进多尺度卷积模块当中，改进模块主要有3个分支组成，分别是3*3卷积、两个串行3*3卷积和两个串行5*5卷积这3个分支，因为3个分支的感受野不同，提取的特征不同。每一个分支前进行1*1卷积，进行降维，减少参数量，然后通过Concat融合方式进行通道维度上的合并，再对3个融合的特征进行1*1卷积降维作为模块输出。
1.3 SEnet注意力机制模块
由于深度神经网络在特征提取的过程中，会有大量沉余特征，影响模型的精度与学习速度。本研究将注意力模块嵌入到多尺度卷积模块中，通过增大权重使其更加关注目标区域有用的特征、弱化不相关的特征，以获得更为精确的特征信息。
SE模块是通道注意力机制中经典模块[16]，SE注意力机制主要包含Squeeze操作，Excitation操作2个部分。注重特征图通道信息的重要性差异，使网络自适应调整通道注意力权重。SE模块结构如图3所示。
图3中U表示C个大小为H×W的特征图，其中U∈RH×W×C。U通过Squeeze操作，进行压缩为1×1×C向量，相当于一个全局平均池化操作，即
其中H、W表示特征图的宽和高，下标c表示通道。
接着通过Excitation操作，通过两层全连接层组成Bottleneck结构，为每个通道生成一个权重值，产生每个通道调制权重的集合，即
式中：δ为ReLU激活函数，W1、W2分别为两个全连接层的参数。
最后通过Scale操作完成通道的特征加权，得到输出特征为：
1.4特征融合
网络通过多层多尺度卷积模块的特征提取，获得不同深度的图像特征，浅层特征图分辨率较大，其中包含的空间特征更为丰富，但感受野小所提取的特征语义表达能力较弱。随着网络层数的堆叠，其空间特征的信息容易丢失，但较大的感受野能够获取更高级的语义信息。光伏组件红外图像纹理特征信息属于中级视觉特征，若将卷积层简单的叠加，网络会忽略低级信息，不同层利用程度下降。因此，为进一步加强网络特征提取的能力，将不同深度的网络特征相融合。如图4所示。
在特征融合模块中，如图1虚线框中所示，首先将每层多尺度卷积模块提取的特征经过3*3卷积进行特征提取，然后通过Max pool最大池化下采样，获得与网络最终输出维度相同的特征图，最后通过Concat模块进行特征信息融合，Concat模块实现通道维度上的合并，增加了图像本身的特征数量。通过这种特征融合的方式将浅层空间信息和深层语义特征信息相融合，增强模型的学习能力。
1.5损失函数
采用交叉熵损失函数(Cross Entropy Loss)用来优化网络[17]，预测概率分布与真实概率分布间的距离，使网络更好地收敛。
对于光伏组件红外图像故障分类，损失函数作为深度学习中的重要超参数，对图像类间差异与类内差异的关注程度起关键作用，在网络训练过程中，修正网络权重，调整网络模型实现图像正确分类。目前，对于光伏组件红外图像故障分类领域中对损失函数的研究相对较少，在图像分类任务中大多采用CE-Loss计算损失，即
式中：N为样本数量；yi为样本i的类别；pi为样本i预测为正类的概率。
2故障诊断流程
基于改进多尺度卷积网络的光伏组件红外图像故障诊断过程主要分为3个阶段：数据处理阶段、模型训练阶段和故障诊断阶段。基本流程如图5所示。
3实验分析
3.1数据集
光伏发电板在运行过程中可能会遇到许多不同的故障。常见的异常现象包括虫迹、建筑物遮挡、异物遮挡、光伏电池开裂、二极管故障、表面脏污等。本文采用的是Infrared Solar Modules数据集，这些数据由Raptor Maps公司采用有人驾驶飞机和无人机系统收集，使用中波和长波红外(3~13.5)相机。该数据集包含20 000幅大小为40×24像素的红外图像灰度图[18]，其中分为11种不同的故障类别共10 000张和正常组件类别共10 000张。各种样本类型示例如图6所示。样本说明如表1所示。
3.2数据预处理
在传统机器学习和深度学习算法的分类问题中，数据集的类分布不平衡对模型性能有显著的负面影响。类的比例不平衡不仅影响训练的收敛性，而且影响训练模型的泛化能力。最常用的解决方案是对原始图像进行过采样。由于数据集各类故障样本数量和正常组件样本数量相差巨大，所以本文保持正常组件样本数量不变，对各类故障样本做了5种数据增强，如图7所示，分别是左右翻转，上下翻转，180°旋转，亮度的加减，将数据样本扩充到70 000张。增强前和和增强后的各类别百分比分布如图8所示。本文将各类型样本按3∶1∶1的比例划分为训练集、验证集和测试集。
3.3参数设置
所有的模型都基于Python 3.6.5和Pytorch 1.7.1框架，电脑采用Windows10系统，CPU为12th Gen Inter(R)Core(TM)i5-12600K，GPU为NVIDIA GeForce GTX 1070，使用CuDA11.0。为了优化网络，本文采用Adam优化器。设置训练批量大小为64，初始学习率设置为0.001，设置权重衰减系数λ设置为0.000 5，每迭代15次衰减一次。输入图像的大小设置为图像大小为40×24像素(其余对比模型实验设置为默认输入大小)，训练迭代80次。在模型中应用Dropout以及批归一化技术，来提高模型的泛化能力，降低过拟合，提高模型的精度。
3.4评价指标
本文采用基于混淆矩阵的评价体系，全面分析模型的诊断性能，用于比较分类结果和实际测得值，混淆矩阵是一个包含有关预测和实际类型信息的矩阵，矩阵大小取决于数据集所含样本类型数。当样本类型数为N时，混淆矩阵即为N×N的矩阵。
自此基础上，本文通过使用准确率、精确度、召回率和F1来验证多尺度卷积模型故障诊断的性能指标。准确率A、精确度P、召回率R和F1的计算公式见式：
式中：TP为预测和实际值均为正，FP为预测为正实际为负，TN为预测和实际值均为负，FN为预测为负实际为正。其中准确率表示模型所有预测正确的样本占预测样本总数的百分比，该数值越高表示模型性能越好。精确度表示预测正确的个数与预测该样本总数的比值。召回率表示预测正确的个数与实际该样本总数的比值。F1分数表示查准率和查全率的调和均。
3.5实验结果
为了验证所提出的多尺度卷积模型的性能，实验在相同环境下进行训练测试，采用相同的参数，对比单尺度传统CNN模型对各类故障类型的诊断效果。如图9所示，混淆矩阵中主对角线的值为各类故障类型的查全率(召回率)，本文提出的特征融合多尺度卷积神经网络模型在每种故障类型上的诊断结果都要优于单尺度传统卷积神经网络模型，其中多电池片热斑、单旁路二极管故障、表面脏污查全率提高了7%以上。
为了进一步验证本文模型的优越性，进一步比较了在图像分类任务中的一些经典模型的诊断效果，包括VGG-16[19]、ShuffleNet[20]、GoogLeNet[21]以验证本文模型进行故障诊断的有效性。图10展示了经过80轮训练后上述模型的各评估指标上的表现，本文提出的特征融合多尺度卷积模型在光伏组件红外图像故障识别准确率达到了92.52%，相比于其他4种模型识别准确率分别提升了4%、8.6%、10%、9.5%。在精确度、召回率、F1分数这3种评估指标上，特征融合多尺度卷积模型都要优于其他4种模型，实验结果表明本文提出的方法性能更优。
4结束语
本文提出一种特征融合多尺度卷积神经网络的光伏组件红外图像故障诊断模型，实现了组件热斑、二极管短路、表面开裂、异物遮挡等11种故障类型和正常组件共12种类型的故障分类诊断的任务，平均准确率达到了92.52%。通过多尺度卷积模块进行特征提取，在多尺度卷积模块中嵌入SENet机制自主学习特征通道的重要等级，提高了在红外图像低分辨率图像的特征提取的能力，然后通过特征融合模块将不同深度的网络特征相融合，从而获得可靠的多级融合特征表示，充分提取图像特征信息，提高了模型的性能与各故障类型的识别能力。然而，由于光伏组件红外图像分辨率较低，在特征提取方面难度较大，因此，在接下来的研究工作中需要进一步优化算法，提高模型精度。
参考文献：
[1]Acikgoz H.A novel approach based on integration of convolution‐al neural networks and deep feature selection for short-term so‐lar radiation forecasting[J].Applied Energy,2022,305:117912.
[2]杨瑞珍,杜博伦,何赟泽,等.晶体硅光伏电池电磁感应激励红外热辐射缺陷检测与成像技术[J].电工技术学报,2018,33(S2):321-330.
[3]Aziz F,Haq A U,Ahmad S,et al.A novel convolutional neural network-based approach for fault classification in photovoltaic arrays[J].IEEE Access,2020,8:41889-41904.
[4]Alves R H F,de Deus Junior G A,Marra E G,et al.Automatic fault classification in photovoltaic modules using Convolutional Neural Networks[J].Renewable Energy,2021,179:502-516.
[5]Fernández A,Usamentiaga R,de Arquer P,et al.Robust detection,classification and localization of defects in large photovolta‐ic plants based on unmanned aerial vehicles and infrared ther‐mography[J].Applied Sciences,2020,10(17):5948.
[6]HerraizÁH,Marugán A P,Márquez F P G.Photovoltaic plant condition monitoring using thermal images analysis by convolu‐tional neural network-based structure[J].Renewable Energy,2020,153:334-348.
[7]郝建新,贾春宇.基于红外热图的机载电路板故障模式诊断研究[J].红外技术,2019,41(3):273-278.
[8]Manno D,Cipriani G,Ciulla G,et al.Deep learning strategies for automatic fault diagnosis in photovoltaic systems by thermo‐graphic images[J].Energy Conversion and Management,2021,241:114315.
[9]Tang W,Yang Q,Xiong K,et al.Deep learning based automatic defect identification of photovoltaic module using electrolumines‐cence images[J].Solar Energy,2020,201:453-460.
[10]Le M,Nguyen D K,Dao V D,et al.Remote anomaly detection and classification of solar photovoltaic modules based on deep neural network[J].Sustainable Energy Technologies and Assess‐ments,2021,48:101545.
[11]He Y,Deng B,Wang H,et al.Infrared machine vision and infra‐red thermography with deep learning:A review[J].Infrared phys‐ics&technology,2021,116:103754.
[12]贾帅康,孙海蓉,苏子凡.改进的残差网络对红外图像热斑状态分类研究[J].工业控制计算机,2021,34(2):79-82.
[13]Szegedy C,Ioffe S,Vanhoucke V,et al.Inception-v4,incep‐tion-resnet and the impact of residual connections on learning[C]//Proceedings of the AAAI conference on artificial intelli‐gence.2017,31(1).
[14]Ioffe S,Szegedy C.Batch normalization:Accelerating deep net‐work training by reducing internal covariate shift[C]//Interna‐tional conference on machine learning.pmlr,2015:448-456.
[15]Nair V,Hinton G E.Rectified linear units improve restricted boltzmann machines[C]//Proceedings of the 27th international conference on machine learning(ICML-10).2010:807-814.
[16]Hu J,Shen L,Sun G.Squeeze-and-excitation networks[C]//Pro‐ceedings of the IEEE conference on computer vision and pattern recognition.2018:7132-7141.
[17]Domingos P.A few useful things to know about machine learn‐ing[J].Communications of the ACM,2012,55(10):78-87.
[18]Millendorf M,Obropta E,Vadhavkar N.Infrared solar module dataset for anomaly detection[C]//Proc.Int.Conf.Learn.Repre‐sent.2020.
[19]Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[J].arXiv preprint arXiv:1409.1556,2014.
[20]Zhang X,Zhou X,Lin M,et al.Shufflenet:An extremely effi‐cient convolutional neural network for mobile devices[C]//Pro‐ceedings of the IEEE conference on computer vision and pattern recognition.2018:6848-6856.
[21]Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2015:1-9.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！ 文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/65894.html
