基于卷积神经网络和 SVM 的混凝土桥梁裂缝检测研究论文

SCI论文（www.lunwensci.com）

　　摘 要：针对目前混凝土桥梁裂缝检测方法泛化能力不佳且检测精度不高的问题,提出一种基于卷积神经网络并结合 SVM 分类器的检测模型,选用引入 SE 模块的 ResNet18 网络作为模型主干,引入迁移学习的概念,利用辅助数据集预训练网 络以获得合适的权重,通过自建数据集训练网络以获取更多的图像特征,将得到的图像特征作为 SVM 分类器输入信息以实现 对裂缝图像与背景图像分类。实验结果表明,与传统模型相比,该模型表现颇佳,在测试集中准确率达到 98.85%。

　　【Abstract】：Aiming at the problems of poor generalization ability and low detection accuracy of current detection methods for concrete bridge cracks, a detection model based on convolutional neural network combined with SVM classifier was proposed. ResNet18 network with SE module was selected as the backbone of the model, the concept of transfer learning was introduced and auxiliary data set was used to pre-train the network to obtain appropriate weights. The network is trained by the target data set to extract more image features, and the image features obtained by the convolutional neural network are used as input information of SVM classifier to realize the classification of crack image and background image. The experimental results show that the model performs well compared with the traditional model, and the accuracy of the model reaches 98.85% in the test set.

　　【Key words】：convolutional neural network;ResNet18;SVM;transfer learning;image classification

　　0 引言

　　裂缝是混凝土桥梁结构中最常见的病害,及时发现 裂缝十分关键,传统人工检测方法不仅效率低下,还会 耗费大量成本,因此需要一种高效且准确的裂缝检测 方法。

　　早期众多学者基于机器学习对裂缝图像与背景图像 分类方法开展了大量研究。魏武等 [1] 通过 Radon 变换 提取图像特征并利用三层前向神经网络对裂缝图像分 类。许霄煜等 [2] 利用预处理算法以及两级滤波算法完成 图像特征的提取,使用 SVM 分类器区分有裂缝图像与 无裂缝图像。陈瑶等 [3] 运用小波变换对图像进行增强处理,再利用形态学分析提取裂缝目标, 最后使用 SVM 方法实现裂缝分类。但是以上传统算法易出现过拟合且 提取图像特征能力低于深度学习。

　　近年来深度学习方法已广泛应用于裂缝检测领域 [4]。 刘新根等 [5] 使用 10 个卷积层的神经网络实现对隧道衬 砌裂缝图像分类,并利用 4 个卷积层的卷积神经网络完 成裂缝检测。YAN 等 [6] 利用基于 Caffe 框架的 AlexNet 网络实现了对裂缝图像的识别。C.V.Dung 等 [7] 利用基 于迁移学习的 VGG16 网络对钢桥梁的裂缝进行识别, 鲁棒性和准确性相比于原始 VGG16 网络均得到了提高。 王丽苹等 [8] 通过网络结构和超参数层面对 AlexNet 网络进行优化,在混凝土路面裂缝识别任务中获得了更高 的识别准确率。但是上述卷积神经网络在处理小样本数 据集时效果不佳,不能满足检测任务需要,且模型泛化 能力较差。

　　针对以上研究存在的问题, 本文提出一种基于 SE- ResNet18-SVM 网络的混凝土桥梁结构裂缝检测模型。 首先,为满足网络模型训练需要建立混凝土结构裂缝数 据集,然后以 ResNet18 为框架,使用引入 SE 模块的 残差结构搭建网络,并将 SVM 作为最后的分类器。通 过实验确定最佳学习率衰减方式、批量大小及迁移学习 方式,并与其他典型网络模型进行对比,最后使用混淆 矩阵从多指标方面对模型性能进行综合评判。

　　1 数据集的构建

　　1.1 混凝土裂缝图像采集

　　混凝土裂缝图像于小型桥梁结构采集完成,选用的 拍摄设备为型号 Redmi 10X 的智能手机,获得 116 张 分辨率为 4032×3024 的混凝土裂缝图像, 部分裂缝图 像如图 1 所示。

　　1.2 数据处理

　　在深度学习中,数据集中的数量过小则无法满足网 络模型训练的需求并易出现过拟合现象,本文采用数据 增强 [9] 方法对数据集进行扩增,利用旋转和图像裁剪等 方式对获取的 116 张裂缝图像进行处理,首先将获取的 116 张裂缝图像分别旋转 90°和 180°共得到 348 张裂缝 图像,并将这些裂缝图像裁剪成分辨率为 224×224 的 图像,共获得 75168 张包括背景和裂缝的图像,从中选 出 10000 张裂缝图像,10000 张背景图像, 按 7 ∶ 3 的 比例划分为训练集和测试集。如图 2 所示给出了部分裂 缝图像和背景图像。

　　2 裂缝图像与背景图像分类系统的设计

　　2.1 裂缝图像与背景图像分类模型设计

　　2.1.1 ResNet18 网络简介

　　卷积神经网络为图像分类带来了一系列的突破,但 网络深度增加会造成梯度消失和梯度爆炸的问题,传统正则化方法在解决上述问题的同时会造成准确度下降。 ResNet[10] 残差学习框架通过快捷连接使残差成为可能, 恒等映射使网络变得更深,跳跃结构的增加能够增强浅 层网络的影响从而避免精度衰减问题。ResNet18 网络 共包含 17 个卷积层和 1 个全连接层,分为 5 个部分, 第 1 部分对输入图像进行初步处理, 后 4 个部分对图像 特征进行提取。

　　2.1.2 SE 模块简介

　　SE-Net 是由 Hu 等 [11] 所提出,其核心思想是提升 重要特征信息的权重,抑制无用特征,最终提升网络模 型的训练效果。SE 模块的使用十分灵活,理论上, SE 模块可以嵌入到现在几乎所有的网络中而不打乱网络原 有的主体结构。

　　2.1.3 SVM 模块简介

　　SVM[12] 是一类按监督学习方式对数据进行二元分 类的广义线性分类器,其核心思想是寻找两类样本的最 优分类超平面。当样本线性可分时, SVM 在原空间寻 找最优分类超平面,对于线性不可分的样本,需要先利 用核函数完成样本由低维空间向高维空间的转换,则可 在该特征空间中寻找最优分类超平面。在样本空间中, 超平面可由如式(1)所示的表示 ：

　　式(1) 中 ：w 为法向量, b 为位移项, x 表示空间 中的任意点。

　　本文选用高斯函数作为核函数,罚项系数 c=1.

　　2.1.4 SE-ResNet18-SVM 网络模型构建为提升网络的性能,在 ResNet18 网络中添加 SE 结 构体系单元, 使用 Global Pooling 作为 Squeeze 操作, 连接两个全连接层组成构建通道相关性。ResNet 残差 块嵌入 SE 模块后结构如图 3 所示。


　　为减少模型参数量,降低模型过拟合的概率, 受文 献 [13] 的启发,将原有残差模块改进为如图 4 所示的残差结构。现将调整前后的参数量进行计算,计算公式如式(2)所示 ：

　　其中, C × H × W为卷积核的尺寸, K为卷积核的数量。

　　由式(3)与式(4)的计算结果对比可知,改进后 的残差结构相比原结构参数量减少 33.3%,在图像特征 提取能力不变的情况下提升了计算效率。

　　本文以 ResNet18 为网络框架,将改进后 SE-ResNet 模块进行堆叠构成本文的 SE-ResNet18 分类网络主干, 如图 5 所示。

           输入大小为 224×224 的图像,经过 7×7 卷 积及最大池化操作后特征图像大小变为 56×56.维度变 为 64.接下来执行 4 个阶段后,特征图像大小为 7×7. 维度为 512.最后特征图像经平均池化层与全连接层输 出,并将其转换为 SVM 分类器的输入特征向量,利用 特征向量对 SVM 分类器进行训练,最终得到分类结果。 同时,为进一步增强模型泛化能力,引入迁移学习的概 念,使用数据集的预先训练的权重对模型进行调整。

　　2.2 超参数的设置

　　2.2.1 学习率

　　学习率是卷积神经网络在梯度下降过程中更新权重 时的超参数。当学习率数值设置过大时,收敛速度快但 易跨过最小值,导致模型网络难以收敛,学习率设置过 小会造成模型训练效率降低,合理的学习率能让模型网 络收敛到最小点。

　　本文模型初始学习率设置为 0.01.并设置两种学习 率衰减方式。其中,方式一是指数衰减式,每迭代一次学 习率衰减 0.9.其计算式如式(5)所示 ;方式二是分段常 数衰减式, 每迭代 10 次, 学习率衰减 0.6. 其计算式如 式(6) 所示。 本文将这两种学习率衰减方式分别命名为 M1 和 M2.
　　式中 ：lr _ new 为衰减后学习率 ;lr _ old 为衰减前 学习率 ;epoch 为衰减次数 ;γ1 和γ2 均为衰减系数,这 里令γ1 = 0.9 , γ2 = 0.6 ;step _ size 为衰减步长,此处取step _ size = 10.

　　2.2.2 批量大小

　　批量大小也是影响训练效果的重要参数,批量值过 小会使训练时间过长,适当的增大批量值可以加快训练 速度,对相同数据量的处理速度更快,但批量取值过大 会撑爆内存容量,因此选取合理的批量大小能提高模型 的运行速度。结合本文所建立模型和实验所用设备,批 量大小的取值分别为 16 和 32.

　　2.3 迁移学习

　　为提升模型泛化能力以及防止网络模型出现过拟合 的现象,这里引入迁移学习 [14] 的方法。迁移学习是指 将在其他模型训练任务中学习的图像特征信息应用于新 的训练任务中。这里数据集预先训练的权重的冻结百分 比分别设置为 100% 和 0%,将这两种情况分别命名为 T1 和 T2.并定义无迁移学习方式为 T0.

　　3 实验结果分析

　　3.1 训练环境参数

　　使用 SE-ResNet18-SVM 网络模型开始训练, 训练 次数确定为 200 轮次,优化函数选择 Adam[15],并选择 交叉熵函数 [16] 作为损失函数。

　　实验硬件配置如表 1 所示。

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/62194.html