SCI论文（www.lunwensci.com）:
摘要：针对传统缺陷检测方法普遍存在检测精度低的问题，以Faster R-CNN算法为基本检测算法，通过融合其主干网络VGG-16网络Block3与Block5的特征，并以两个IoU阈值分别为0.5和0.6的级联R-CNN网络作为检测网络，提出一种基于机器视觉的钢材表面缺陷检测方法。仿真结果表明，所提方法通过融合Block3与Block5特征融合，减少了结构信息的丢失；通过级联两个不同IoU阈值的R-CNN网络，实现了对区域建议框的更准确分类与定位，提高了钢材表面缺陷检测精度，使平均检测精度达到98.29%，检测速度达到12.26帧/s。相较于基于SSD和YOLO-V3等传统检测算法，平均检测精度和检测速度均得到不同程度的提升，具有一定的有效性和优越性，能够解决传统缺陷检测方法存在的检测精度低的问题，可满足不同类别的钢材表面缺陷检测需求。
关键词：机器视觉；钢材表面缺陷；缺陷检测；Faster R-CNN算法
Machine Vision-based Inspection of Steel Surface Defects
Lu Jialin，Cheng Ying※，Feng Sai，Li Mingzhe，Zhang Ninghua，Sun Jiayu
(School of Mechanical Engineering,Tianjin University of Science and Technology,Tianjin 300457,China)
Abstract:Aiming at the problem of low detection accuracy of defect detection method based on image recognition,a steel surface defect detection method based on machine vision was proposed.By using VGG-16 as the backbone network of fast R-CNN algorithm and feature fusion of VGG-16 Block3 and Block5,the loss of structural information was reduced.At the same time,two cascaded R-CNN networks with IoU thresholds of 0.5 and 0.6 were used as the detection network to realize more accurate classification and location of regional suggestion boxes.The simulation results show that the proposed method can improve the detection accuracy of steel surface defects,make the average detection accuracy reach 98.29%and the detection speed reach 12.26 f/s.Compared with the traditional detection methods based on fast R-CNN,SSD and YOLO-V3 algorithms,the average detection accuracy and detection speed have been improved to varying degrees,which has certain effectiveness and advantages,and can meet the detection needs of different types of steel surface defects.
Key words:machine vision;steel surface defects;defect detection;fast R-CNN algorithm
0引言
钢材是发展现代工业技术的基本材料，随着工业制造能力的提升，钢材广泛应用于建筑行业、海洋工程、航天工程，对钢材也提出了更严苛的要求。然而由于生产工艺限制，钢材在生产过程中不可避免地存在深度各异的表面缺陷，如划痕、裂纹、凹面等。这些缺陷不仅会影响产品外观，同时会导致钢材耐磨性、韧性等性能下降，缩短钢材的使用寿命。因此，分析与掌握如何提高钢材表面质量是现代钢材生产厂家亟需解决的重要问题。而要解决钢材表面质量问题，其前提是要实现对钢材表面缺陷的检测。目前，国内外对钢材表面缺陷检测做了大量的研究，常用的钢材表面缺陷检测主要包括超声检测、红外检测，以及基于图像识别等缺陷检测方法。如陈超等[1]利用激光超声检测技术，通过提取钢材不同深度缺陷的透射波信号，并以PSO-BP神经网络进行分析与识别，实现了钢材表面0.1~3 mm深度缺陷的检测。刘凌等[2]结合非接触式超声耦合技术和相控阵超声波检测技术，实现了对钢管材表面和内部的缺陷检测，提高了超声波检测的工作效率。方叶祥等[3]通过利用特征金字塔与残差层融合特征的方式改进YOLOv3算法，实现了快速准确地检测钢材表面缺陷，检测精度达到90%以上。陈劲等[4]通过结合红外热成像法和超声波法检测，实现了对钢材内部空洞和表面缺陷的检测，为更全面地评定钢材质量提供了一种更简便快捷的方法。陶显等[5]基于图像识别，采用卷积神经网络对钢材表面缺陷进行了检测，为钢材表面缺陷检测提供了一种新思路。上述检测方法虽一定程度上实现了钢材表面的缺陷检测，但在检测精度上有待进一步改善，且能够满足实际生产检测需求的检测方法还待研究。为解决以上检测方法存在的问题，本文基于Faster R-CNN目标检测算法，提出一种基于机器视觉的钢材表面缺陷检测方法。
1基本算法
1.1 Faster R-CNN算法
Faster R-CNN算法是一种端到端的目标检测算法，网络结构如图1所示，分为4个部分，具体如下。
(1)主干网络
Faster R-CNN算法的主干网络通常为VGG-16、ResNet等网络，负责提取输入图像特征。通过查阅参考文献，本文选用VGG-16网络作为主干网络，其结构如图2所示。
(2)RPN网络
RPN网络负责提取候选框，其基本原理如图3所示。当输入模型图像通过主干网络进行特征提取后输入RPN，RPN对特征图进行滑窗以产生描框。将描框得分高的部分作为推荐区域，即为候选框。
(3)ROI池化
ROI池化负责对特征图进行一定比例的缩放，以使特征图满足预设定大小。目前，常用的缩放方式首先是将区域提案划分为大小相同的n等分，然后找到每个部分的最大值，最后复制最大值并输出[6]。
(4)R-CNN检测网络
R-CNN网络负责分类与识别候选框样本类别。首先根据实际情况设定一个阈值a，然后计算真实与预测目标框的交并比(IoU)，最后判断IoU与a大小，即可确定候选框样本类别。当IoU>a，则判定其为正样本；反之则为负样本。
Faster R-CNN算法具有鲁棒性强、检测精度高的特点，但在特征提取阶段存在容易丢失结构信息的问题，同时在R-CNN网络检测过程中对区域建议框的分类与定位精度有待提高。因此，为进一步提高网络的检测精度，本文从主干网络和检测网络两个方面进行改进[7-8]。
1.2 Faster R-CNN网络改进
1.2.1主干网络
为解决Faster R-CNN网络容易丢失结构信息的问题，本文通过对主干网络特征进行融合，实现Faster R-CNN网络改进。首先，分别将VGG-16网络Block3的conv3-256-1与conv3-256-3进行融合，VGG-16网络Block5的conv3-512-1与conv3-512-3进行融合。然后对融合后的特征进行再次融合。设置每个Block之后为最大池化，全连接层不变。通过上述操作，可使主干网络尽可能地保留结构信息。主干网络Block3和Block5改进前后结构对比如表1所示。
1.2.2 R-CNN检测网络
R-CNN网络可通过增大IoU阈值使区域建议框更准确，进而提高模型的检测准确性，但过度增大IoU阈值容易导致模型拟合不足的问题。为解决该问题，提高模型的检测准确性，本文采用级联两个不同IoU阈值的R-CNN检测网络对模型进行改进。分别设置两个R-CNN检测网络的IoU阈值0.5和0.6，并根据其IoU阈值划分分别对正负样本进行训练修正区域建议框，即可得到更准确的边界框，进而提高检测效果[10-12]。
2基于机器视觉的钢材表面缺陷检测
基于上述对Faster R-CNN网络的改进思路，本文将基于机器视觉的钢材表面缺陷检测设计如图4所示。首先，采用融合特征的VGG-16提取输入模型的钢材表面图像，以减少钢材表面图像的结构信息丢失。其次，采用RPN网络提取生成钢材缺陷特征图候选框。然后采用ROI池化将钢材表面缺陷特征图进行缩放。最后，先后采用IoU阈值为0.5和0.6的R-CNN检测网络对特征图进行分类与识别，得到钢材表面缺陷检测结果。
3仿真实验
3.1实验环境
本次实验在Linux Centos7操作系统上进行，基于MXNet框架下进行测试。系统环境CPU为2.10 GHz的E5-2620，GPU为NVIDIA1080，内存为64 GB，编译器为Pycharm Community 1.3，解释器为Python 3.7。
3.2数据来源及预处理
本次实验数据来自NEU-CLS数据集，共1 800张钢材表面缺陷图像，具体如表2所示。
3.3评价指标
本次实验选用平均准确度(AP)作为评估模型性能的指标，其计算方法如式(1)。选用平均AP(mAP)评估整体性能，其计算方法如式(4)。选用每秒帧率(帧/s)评估模型运行效率。
式(1)~(3)中：TP为真正例；FP为假正例；FN为假负例。
式(4)中：Nc为检测缺陷类别数。
3.4结果与分析
3.4.1模型验证
(1)主干网络验证
为验证所提模型改进主干网络的有效性，实验对比了不同主干网络作为提取特征的模型性能，结果如表3所示。由表可知，相较于ResNet-50，VGG-16作为模型的主干网络的平均检测准确率更高，达到84.06%，提高了2.3%；检测速度由6.2帧/s提升到12.23帧/s，提高了近一倍。由此说明，所提模型以VGG-16作为主干网络，可提高模型的检测性能，模型改进有效。
(2)融合策略验证
为验证模型特征融合的有效性，实验采用不同融合策略构建模型，并对比了其平均检测精度与检测速度，结果如表4所示。由表可知，策略B的平均检测准确率最高，达到95.92%，检测速度最快，达到22.45帧/s，说明该融合策略可达到最佳检测效果，即融合Block3和Block5的融合策略最好，所提模型的改进有效。
(3)检测网络验证
为验证所提模型对不同IoU阈值检测网络的级联效果，实验对比了不同级联IoU阈值时模型性能，结果如表5所示。由表可知，级联一个IoU=0.6的检测网络可提高网络的平均检测精度，达到98.29%，提高了2.37%。相较于级联一个IoU=0.7检测网络，具有一定的优越性。由此说明，所提模型具有一定的有效性，对检测网络的改进有效。
所提模型消融实验结果如表6所示。由表可知，相较于特征融合前，特征融合后的模型mAP值提高了11.86%；相较于级联网络前，级联网络后模型的mAP值提高了2.37%；相较于改进前模型，所提模型检测准确率提高了14.23%，达到98.29%。分析其原因是，特征融合后产生的特征图同时包含了高层和底层信息，进而提高了模型的检测准确率，而级联网络可提高模型的IoU，使模型的检测准确率得到提高[13-15]。由此说明，特征融合和级联网络可明显提升模型的检测准确率，即所提模型具有一定的有效性。
3.4.2模型对比
为进一步验证所提模型的有效性，实验对比了所提模型与特征融合前后Faster R-CNN模型对实验数据集的检测效果，结果如图5所示。由图可知，相较于改进前，所提模型和FFaster R-CNN模型对各类钢材表面缺陷的预测准确率均得到了明显提升，说明特征融合可有效提升Faster R-CNN模型对钢材表面缺陷的检测准确率。相较于FFaster R-CNN模型，所提模型对大部分类别的钢材表面缺陷检测准确率均得到了不同程度地提升，说明级联检测网络可一定程度上提高模型的检测准确率。由此说明，采用特征融合与级联检测网络对提升Faster R-CNN模型的检测准确率具有一定的有效性，即所提模型有效。
为进一步验证所提模型的优越性，实验对比了所提模型与传统检测模型的检测效果，结果如表7所示。由表可知，相较于其他传统检测模型，所提模型在对钢材表面缺陷检测的精度和速率上具有一定的优势，平均检测准确率达到98.29%，检测速度达到12.26帧/s，可满足钢材表面缺陷检测需求。
3.4.3实例验证
为验证所提模型的实际应用效果，实验采用所提模型对存在缺陷的钢材表面进行了检测，结果如图6所示。由图可知，所提模型可较为准确地检测不同类别的钢材表面缺陷，具有较强的泛化性能。
4结束语
综上所述，所提的基于机器视觉的钢材表面缺陷检测方法，通过融合VGG-16网络Block3和Block5特征，可减少结构信息的丢失，使模型的平均检测准确率和检测速度得到进一步提升，达到95.92%和22.45帧/s；通过在检测网络后级联一个IoU阈值为0.6的检测网络，可实现对网络区域建议框更精确地分类与定位，使模型的平均检测精度达到98.29%。改进后的Faster R-CNN算法平均检测准确率和检测速度分别达到84.06%和12.23帧/s，相较于基于Faster R-CNN、SSD和YOLO-V3等算法的传统检测方法，所提方法平均检测精度和检测速度均得到不同程度的提升，达到98.29%和12.26帧/s，具有一定的有效性和优越性，可满足不同类别的钢材表面缺陷检测需求。
参考文献：
[1]陈超,张兴媛,陆思烨.基于优化BP神经网络激光超声表面缺陷识别[J].激光与光电子学进展,2021,58(22):505-515.
[2]刘凌,汪超,马立立.管材超声波相控阵高速线性自动检测系统优化[J].焊管,2022,45(1):49-54.
[3]方叶祥,甘平,陈俐.金属表面缺陷检测的改进YOLOv3算法研究[J].机械科学与技术,2020,39(9):1390-1394.
[4]陈劲,陈晓东,赵辉,等.基于红外热成像法和超声波法的钢管混凝土无损检测技术的试验研究与应用[J].建筑结构学报,2021,42(S2):444-453.
[5]陶显,侯伟,徐德.基于深度学习的表面缺陷检测方法综述[J].自动化学报,2021,47(5):1017-1034.
[6]魏庆为,张丽红.基于文本表达的指向性目标分割方法研究[J].测试技术学报,2022,36(1):42-47.
[7]马宇,单玉刚,袁杰.基于改进Faster R-CNN的遥感目标检测算法[J].现代电子技术,2022,45(3):58-63.
[8]梅小云,顾桂梅,陈充,等.基于深度学习的接触网吊弦线夹状态识别[J].兰州交通大学学报,2022,41(1):61-67.
[9]卢才武,闫雪颂,刘力,等.一种改进的无锚框式金属矿带式输送机异物检测方法[J].采矿技术,2022,22(1):150-154.
[10]李康康,于振中,范晓东,等.改进多层尺度特征融合的目标检测算法[J].计算机工程与设计,2022,43(1):157-164.
[11]彭建盛,李涛涛,侯雅茹,等.基于机器学习的裂纹识别研究现状及发展趋势[J].广西科学,2021,28(3):215-228.
[12]岳冰莹,陈亮,师皓,等.基于改进RetinaNet的SAR图像目标检测方法[J].信号处理,2022,38(1):128-136.
[13]邵志慧,杨俭,袁天辰,等.基于排列熵和支持向量机的轨枕病害诊断[J].电子科技,2022,35(2):52-58.
[14]黄子平,黄继风,周小平.基于YOLOv3的改进仪表检测算法[J].计算机与现代化,2022(1):77-84.
[15]石鑫,化晨冰,张凯,等.基于SSD深度神经网络的航拍图像电力目标检测[J].数据采集与处理,2022,37(1):207-216.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/45698.html
