基于 EfficientNetV2 和 迁移学习的葡萄病害识别研究论文

SCI论文（www.lunwensci.com）
 
　

　　摘 要：针对当前基于深度学习的葡萄叶片病害识别模型网络参数过多、精确度低、推理时间较长和移动端模型部署困难 等问题,探索一种新的病害识别方法。选取轻量卷积神经网络模型 EfficientNetV2 并结合迁移学习方法对葡萄叶片病害进行识 别, 采用迁移学习中特征提取、全部权重迁移、微调与全新训练 4 种方式进行训练后获得 4 种模型。通过多组对比试验, 结果 显示使用学习率为 0.01 的全部权重参数进行迁移学习训练出的模型精度最高,训练时间最短,模型体积较小。在数据集上平 均测试识别准确率达到 99.76%,且重用训练后的模型平均单张病害识别耗时仅为 0.2s,能够有效提高葡萄叶片病害识别的精 度与效率,为移动端部署葡萄叶片病害识别模型提供参考。

　　关键词：EfficientNetV2 网络,迁移学习,葡萄叶片,病害识别

　Research on Grape Disease Recognition Based on EfficientNetV2 and Transfer Learning

　　                                         TENG Minghong1. TAN Lixin1.2

　　(1.College of Information and Intelligence Science and Technology, Hunan Agricultural University, Changsha Hunan 410125;2.School of Electronic Engineering, Hunan College of Information, Changsha Hunan 410200)

　　【Abstract】： Aiming at the problems of too many network parameters, low accuracy, long inference time, and difficult deployment of mobile models in the current deep learning-based grape leaf disease identification model, a new disease identification method was explored. The lightweight convolutional neural network model EfficientNetV2 was selected and combined with the transfer learning method to identify grape leaf diseases, and four models were obtained by using four methods of feature extraction in transfer learning, full weight transfer and fine-tuning, and new training. Through multiple sets of comparative experiments, the results show that using all weight parameters with a learning rate of 0.01 to perform transfer learning training has the highest accuracy, the shortest training time, and a smaller model size. The average test recognition accuracy rate on the data set reaches 99.76%, and the average single disease recognition time of the re-trained model is only 0.2s, which can effectively improve the accuracy and efficiency of grape leaf disease recognition, and provide a reference for the mobile terminal to deploy the grape leaf disease recognition model.

　　【Key words】： EfficientNetV2 network;transfer learning;grape leaves;disease identification

　　引言

　　葡萄作为一种重要的水果经济作物,拥有着较大的 种植比例。据国际组织葡萄与葡萄酒机构(OIV) 2021 年的统计报告,全球种植葡萄面积为 730 万公顷,其中 中国种植 78.3 万公顷,面积达到了全球第三。葡萄是我国重要的经济作物之一,然而在葡萄生长过程中各种 病害频繁发生,造成大量经济损失。因此,及时有效地 发现和防治葡萄病害对保障葡萄产业的健康发展至关重 要,已成为农业信息化领域的研究热点 [1]。

　　近年来,以卷积神经网络为代表的深度学习技术在图像识别任务中取得巨大进展,目前已在植物病害识别 中逐渐得到应用。如 Amara 等人 [2] 基于 LeNet 实现的 香蕉叶片病害图像识别,验证了深度学习模型在复杂环 境下的有效性。Durmus 等人 [3] 基于 AlexNet 训练的番 茄叶片病害分类模型能够对十种番茄病害进行分类,其 准确率达到 95.65%。在 5 种类别的玉米病害识别上王国 伟等 [4] 采用 LeNet 模型平均识别准确率达到了 96%。

　　这些基于卷积神经网络的研究,在作物病害识别上 取得了较好效果,但也存在一些缺点。如需要大量数据 来训练网络,如果数据集没有包含足够的图像,则性能 会变差,且训练时间和计算机资源消耗较大。此外得到 的模型还存在体积较大、推理速度慢、移动端模型部署难 等问题。不依赖于外部设备,可离线部署在移动终端上 的作物病害识别模型更符合当前实际生产需求。为此出 现了一种新的深度学习方法迁移学习,通过迁移学习的 方法从已经学习的类似任务中迁移知识来改进新任务的 学习,大大提高了网络的学习效率,降低了训练成本。

　　因此, 本文采用轻量级卷积神经网络结合迁移学习的 方式进行葡萄病害的识别研究, 从已经学习的类似任务中 迁移知识来改进葡萄病害的识别学习。通过进行训练和测 试,并进行分析比较,发现通过该方式得到的模型效果较 好,能够更好地将模型应用于智能终端设备中, 为进一步 开发基于终端的葡萄病害识别系统提供有益参考。

　　1 数据来源与处理

　　1.1 数据集来源

　　文章采用 PlantVillage 网站提供的公开数据,从中 选取葡萄叶片病害图像,共分为 4 个类别总计 4062 张 图像,包括 3 种病害和 1 种健康叶片。如图 1 和表 1 所 示给出了该数据的实例样本以及病害类别。

　　1.2 数据集预处理

　　PlantVillage 数据集中的葡萄叶片病害数据存在样 本类别间数量不均衡的现象,为了保证各类别样本的均 匀分布,增强模型的鲁棒性和可靠性,文章对获取的图 像数据进行了扩充。如图 2 所示,本文主要采用随机旋 转、水平翻转、亮度增强、增加噪声以及 Mixup 混合 增强 [5] 等方式进行样本扩充,并将所有图像的尺寸统一 为 256×256 像素,保存为 JPG 格式,最后将经过预处理后的数据作为最终实验的葡萄叶部病害数据集。如 图 3 所示,增强后的所有样本共计 12639 张。

　　为了更好地检验葡萄叶片病害识别模型的训练效 果,将扩充后的样本数据集按比例进行划分,随机选取 其中的 20% 作为测试集,剩余 80% 为训练集。

　　2 病害识别模型构建

　　深度卷积神经网络通过多层监督学习拥有强大的特 征提取和特征识别能力,在分类、检测和定位领域均体 现出其优良性能。考虑到计算资源占用、训练参数以及 模型体积大小,智能终端部署等因素,文章采用当前比 较优异的 EfficientNetV2 轻量级卷积神经网络模型 [6] 进行迁移学习。

　　2.1 EfficientNetV2 网络模型

　　EfficientNetV2 是 在 EfficientNetV1 网 络 [7] 的基 础上,为进一步降低网络参数量、减少训练耗时、提升 网络精度和缩短推理时间所提出的新的轻量级卷积神 经网络。该网络使用新的神经网络结构搜索(Neural Architecture Search) 和激励函数, 结合渐进式学习 (Progressively Learning) 动态地调整正则尺度和输 入图像尺寸的关系来对网络进行训练。通过与先前的一 些网络进行实验和对比分析可知,该网络在训练速度和 检测精度方面具有明显的优势,并且涉及的参数量更 少,模型更加轻量化。

　　EfficientNetV2 的 NAS 搜索空间包括使用 MBConv 与 Fused-MBConv 卷积模块,其卷积核大小分别为 3×3 与 5×5.并且每一个阶段使用不同的卷积层数 ;使用较小 的扩张因子,在 MBConv 层使用 SENet 注意力机制,另外 还通过移除不需要的搜索选项,例如 EfficientNetV1 中 未使用到的 Pooling Skip 操作, 重用 EfficientNetV1 中搜索的 Channel Sizes,采用新的搜索激励函数等方 法来减小搜索空间的范围。在新的搜索奖励结函数中, 其考虑了模型准确率 A,标准训练一个 Step 所需时间 S 以及模型参数大小 P 等因素, 以此来获得更好的结 果,其激励函数公式如下所示 ：

　　r=A×SW ×PV

　　以上公式中 A 是模型准确率, S 是每个训练 step 时长, P 是参数量。w 和 v 是控制奖励比例的两个超参, 其中 w=-0.07. v=-0.05.

　　此外当调整一个网络的输入图像的尺寸时,需要对 应的调整网络的正则内容才能更大幅度发挥网络的性 能。因此考虑到模型的正则化尺度和输入图像的分辨率 有近乎正比的关系, EfficientNetV2 还提出了渐进的学 习方式,其主要分成两步 ：

　　(1)训练早期使用较小尺寸的输入图像和较弱的正 则尺度 ;

　　(2)后期逐渐增大输入尺寸和网络,使用更强的正 则尺度。

　　在 EfficientNetV2 的网络结构中, 主要存在 3 种模 型 结 构, 分 别 为 EfficientNetV2-s、EfficientNetV2-l、 EfficientNetV2-m,3 种结构的主要区别是输入图片的 尺寸不同,网络结构层数不同,其他结构一致。考虑到 计算机内存使用和训练时间,本文采用输入图片尺寸较 小的 EfficientNetV2-s 模型,该模型结构如图 4 所示。

　　该模型结构由输入、Stem、卷积、Head、输出 5 个主要模块组成。首先, Stem 作为图像输入后进网络的第一个模块,该模块使用普通的 Conv3×3 卷积 获取图像的低层特征。其次该模型在卷积模块中使用了 Fused-MBConv 和 MBConv 两种不同的卷积策略, 这 两种卷积方式均使用 3×3 的卷积单元,通过堆叠不同 的层数与使用不同的扩展因子,渐进式的放大图像尺 寸,以此来获取图像抽象维度更高的特征值,是网络的 核心模块。再次就是 Head 模块,该模块通过 1×1 的 普通卷积为图像降维并使用池化和全连的方式得到一 个葡萄病害的四分类器。最后是输出模块进行图像病 害所属类别结果输出。在模型结构中核心卷积模块的 MBConv 与 Fused-MBConv 卷积方式详细结构如图 5、 图 6 所示。MBConv 卷积由 1个 1×1 的普通卷积(包含 BN 和 Swish)、一个 3×3 的深度可分离卷积(包含 BN和 Swish)、 一个 SE(Squeeze-and-Excitation) 模块以及一个使用 (Stochastic Dropout) 的 Droupout 层构成,其中第一个普通 卷积主要用来进行特征矩阵升维,当模型的扩展因子等于 1 时, 则去掉第一个升维的 1×1 卷积层。在 EfficientNetV2 模型结构中除去第一个 MBConv 卷积,后面堆叠的 MBConv 结构都没有第一个升维的 1×1 卷积。此外当 步距等于 1 且输入 MBConv 结构的特征矩阵与输出的 特征矩阵维度相同时会存在捷径分支(Shortcut 连接), 存在捷径分支时,模型的最终输出特征由 Droupout 层 和捷径分支权重组成。

　　Fused-MBConv 卷积结构比较简单, 其将 MBConv 卷积结构主分支中的 1×1 用于升维的普通卷积和 3×3 的深度可分离卷积替换成一个普通的 3×3 卷积,然后 去掉 SE 模块即可,同时与 MBConv 类似,当模型的 扩展因子等于 1 时,则去掉 1×1 卷积层,步距等于 1 且输入结构的特征矩阵与输出的特征矩阵维度相同时也 会存在捷径分支(Shortcut 连接), 同时也是存在捷径 分支时, 才使用 Droupout(Stochastic Dropout) 层并 在输出时需要加上捷径分支权重。

　　2.2 迁移学习

　　迁移学习是从已经学习的类似任务中迁移知识来改 进新任务的学习,不需要大量的数据来训练网络,大大 减少了训练时间、泛化误差和构建模型的计算成本。当 前迁移学习主要包括全部权重迁移、特征提取、微调等 3 种方式。

　　2.3 模型构建

　　文章迁移学习的过程如图 7 所示, 迁移学习可以加 快网络模型收敛速度,减少网络训练所需的样本数量和 时间。利用迁移学习,将从 ImageNet 数据集预训练模 型中得到的模型通用参数迁移到本试验中,实现对葡萄 叶片病害的识别。通过采用全部权重迁移、特征提取、 微调 3 种不同迁移方法得到的模型与全新训练的模型进 行对比,通过准确率、损失函数值、训练时间、模型推 理时间、模型权重参数体积大小等多个维度作为指标, 最终得出效果最好的模型。

　　2.3.1 全部权重迁移

　　使用 ImageNet 预训练后并微调好的 EfficientNetV2-s 模型结构和初始权重进行模型的初始化,然后使用葡萄 叶片病害数据集行训练。

　　2.3.2 特征提取

　　将 EfficientNetV2-s 预训练模型原本的输出层去掉, 添加 1 个四分类的葡萄病害分类器,然后通过冻结网络 其他特征提取层,使用预训练模型作为葡萄病害的特征 提取器,只对最后增加的葡萄病害分类器进行重新学习。

　　2.3.3 微调

　　因为浅层网络捕获的是一些轮廓边缘等普遍的特 征,通常卷积网络浅层提取信息是相通的,因此冻结预 训练模型 EfficientNetV2-s 网络浅层结构,保持参数权 重不变,然后重新训练最后的卷积层和全连接层让模型 更关注葡萄病害数据集特有的特征。

　　2.3.4 全新训练

　　构建标准的 EfficientNetV2-s 模型结构, 通过葡萄 叶部病害数据集进行全新训练。

　　3 实验比较与分析

　　3.1 实验环境与参数设置

　　本文的实验配置环境使用基于 Ubuntu 18.04 系 统的服务器,具体硬件配置采用因特尔 Xeon(R) CPU E5-2680 v4@2.40 GHz 处理器,32G 内存,RTX 3090 24G 英伟达 GPU 显卡。编程语言为 Python3.8. 并基 于深度学习框架 Tensorflow2.6.+ CUDA11.2 进行模型 的定义和训练。

　　在模型训练过程中,采用批量训练的方法将训练集 和测试集分为多个批次(Batch),每个批次中数据集 图片数量(Batch Size) 设为 32.训练集和测试集全部 图片通过模型作为 1 个周期(Epoch),共迭代 60 个周 期。采用随机梯度下降法 SGD 结合动量参数来实现模 型优化,动量参数设置为 0.9.并利用 Dropout 函数减 轻过拟合 [8]。训练方式包括全新训练、全部权重迁移、 训练全连接层和训练最后一个卷积层及全连接层的迁移 学习,针对每一种训练方式,学习率分别设置为 0.01、 0.001、0.0001.共进行 12 组试验。

　　3.2 实验评判标准

　　实验中采用分类准确率作为实验结果的评价标准之

　　一,分类准确率定义为测试集中被正确分类的病害图像 数量与总的病害图像数量之比,分类准确率越高,则在 一定程度上代表模型的性能越好 [9]。此外在葡萄叶片病 害识别过程中,速度也是评估模型的一个重要指标,若 能在保证准确率较高情况下,测试单张图片用时较少, 则更有利于模型在实际农业生产过程中的应用。同时神 经网络每次更新参数都会存在误差,因此学习率作为只 控制此误差的其中 1 个参数也是一个重要指标,当学习 率设置过大时,会使损失函数曲线错过理论最优点,网 络永远无法到达极值点 ;当学习率设置过小时,损失函 数曲线离理论最优点较远,会增加网络到达极值点的时 间,且容易导致网络困在局部最小值附近。

　　然后对采用全部权重迁移、特征提取、微调 3 种不 同迁移方法得到的模型与全新训练的 EfficientNetV2 模 型进行多个维度指标综合分析对比,选出效果较好的训 练模型,并就模型绘制混淆矩阵进行模型性能评估,最 后得出最优模型并进行特征层可视化输出进行直观展示。

　　3.3 实验结果与分析

　　3.3.1 学习率对模型的影响分析

　　试验对全部权重迁移、特征提取、微调与全新训练 的 4 种模型训练方式分别采用 3 种不同学习率进行训 练。分别设置学习率为 0.01、0.001、0.0001. 在同样 条件下观察训练结果。结果如图 8 所示。当学习率设置 为 0.01 时,在开始几轮中全新训练准确率从较低到高 有明显提升,并在后面的训练中基本趋于稳定,在全部 权重迁移、特征提取、微调 3 种训练方式中, 3 种训练 方式准确率都较高,震荡幅度较小,且趋于稳定速度较 快。当学习率设置为 0.001 时,全新训练准确率在初始 上升后开始出现较大震荡,并出现准确率降低情况,在 后期准确率开始回升并趋于稳定,但准确率低于 0.01 的学习率,全部权重迁移与特征提取中与 0.01 学习率时变化不大,在微调中准确率有所降低,且趋于拟合状 态速度更慢。当学习率为 0.0001 时,全新训练模型测 试准确率在前期震荡上升后开始出现降低,且准确率稳 定后明显低于前两个学习率时的准确率,说明学习率可 能错过最优值,而迁移学习三种训练方式的准确率都有 所降低且震荡有所加剧,拟合速度最慢。

　　通过分析发现学习率为 0.01 时, 4 种训练方式模型 准确率都最高,震荡幅度较小,且趋于稳定速度更快, 说明学习率已经接近最优值。

　　3.3.2 准确率与损失分析

　　由上文分析可知,学习率为 0.01 时, 4 种训练方式 得到的模型效果都最好。因此选取学习率为 0.01 的 4 种训练方式得到的数据, 通过绘制如图 9 和图 10 所示 的精度和损失图对 4 种训练方式进行分析,发现随着训 练准确度的增加,验证准确度开始增加,同样伴随着训 练损失的减少,验证损失开始少。最后将 4 种不同学习方式的测试损失与测试准确率 进行绘图分析,发现通过全部权重迁移训练方式的效果 最好,其能够在最短的时间里损失和准确率达到最优, 并且没有震荡,在第 1 轮 Epoch 之后就开始趋于拟合。且验证模型的测试精度达到了 100%,测试损失与测试 准确率如图 11 所示。

　　3.3.3 综合分析

　　将 3 种不同迁移方法得到的模型与全新训练模型得 到的学习率、损失值、准确率、模型趋于拟合时训练轮 数,训练后模型权重体积,模型平均推理时间等多个数 据指标进行绘制图表分析。此处推理时间为随机选取测 试集中 100 张葡萄病害图像,通过重用不同训练方式得 到的模型进行推理,取平均推理时间。通过图表分析发 现,采用迁移学习和全新训练得到的模型权重体积、模 型平均推理时间差异不大,但模型训练时间差异明显, 全新训练的模型最快也需要 43 轮训练才开始趋于拟合。 而对比迁移学习,只需要训练几轮之后模型就开始趋于 拟合,大大减少了模型训练时间。尤其是使用全部权重 迁移训练,其在第一轮训练后模型就开始趋于拟合,并 且训练和测试都得到了最低的损失 0 与最高的准确率 100%,模型综合指标分析优于其他 3 种学习方式,效 果最好。综合指标分析对比如表 2 所示。

　　3.3.4 模型混淆矩阵分析

　　由于不同葡萄病害类别的图像纹理特征不同,故每 种病害的识别准确率也不同,因此采用混淆矩阵对模型性能进行进一步评估。在上文分析可知采用迁移学习全 部权重迁移的方式得到的模型效果最好,其能够在最短 的训练时间里得到最高的准确率,同时模型权重体积 小,推理时间较短,因此选取该方式训练得到的模型 进行混淆矩阵性能评估。如图 12 和表 3 所示为学习率 为 0.01 与 0.001 的全部权重迁移模型对测试集葡萄病 害图像预测的混淆矩阵与分类准确率、精确率等评价指 标图。由图中可以得出采用学习率为 0.01 的全部权重 迁移学习方式得到的模型准确率最高,为 99.76%,按 病害类别划分黑腐病、埃斯卡病、健康叶片以及叶枯 病的识别准确率分别为 99.84%、99.85%、99.33% 和 100%,也高于学习率为 0.001 的全部权重迁移模型。综合识别率和性能来看,使用基于轻量卷积神经网 络 EfficientNetV2. 采用 0.01 的学习率进行全部权重 迁移学习的方式得到的模型最优,只需很少的训练时 间,就能够很好地进行葡萄病害识别,其得到的模型权 重体积小、推理时间短、识别准确率高,有助于实现对 葡萄病害进行机器化识别诊断。为进一步开发基于机器 的葡萄病害自动识别系统提供了技术与方法。能够更直观地查看模型病害特征学习过程 [10]。对得到 的最优模型卷积层浅层到深层进行选择性可视化,结果 如图 13 所示。分别选取网络第 1 个卷积、第 1 个 Fuse- MBConv 卷积与最后 1 个 Fuse-MBConv 卷积, 第 1 个 MBConv 及最后 1 个 MBConv 卷积进行对比。从图中 可以看出卷积层图像的形状特征在最后 1 个 MBConv 卷 积时已经无法辨认其信息,原因是神经网络的浅层卷积 层提取的特征强调的是纹理、细节等普遍存在的特征信 息, 因此在第 1 个卷积与第 1 个 Fuse-MBConv 卷积图 像上基本能比较清晰地展现出来。而随着卷积层数的增 加,深层卷积层提取的更多是抽象特征信息,这些抽象 特征需要通过一些复杂运算才能具体描述其中的含义。

　　4 结语

　　本文针对葡萄病害识别诊断的特点, 使用基于 3 种 迁移学习方式与全新训练的 EfficientNetV2 网络结构 进行模型训练学习,通过对训练后得到的模型进行对比 分析,发现基于迁移学习全部权重迁移的方式得到的模 型最优,其训练时间最短,仅需一轮训练,模型就开 始趋于拟合达到最优,且得到的模型权重体积较小仅为 77M,同时模型准确率达到 97.6%,单张图像平均推理 时间为 0.2s。

　　结果表明,使用该模型进行葡萄叶片病害图像识别 能够在保持较高识别准确率的同时,在测试时间上耗时 也较短。针对当前葡萄叶片病害识别深度学习模型网络 参数多、精确度低、推理时间长、移动端模型部署难等 问题,该方法得到的模型能够解决部分需求,为移动端 部署葡萄叶片病害识别模型提供有益参考,助力葡萄病 害实现自动化识别诊断。但该葡萄叶片病害识别模型还 有一些不足之处,比如由于条件的限制,实验所用数据 集中叶片背景较为简单,数据集病害种类不多,后续工 作将考虑采集更多实际场景与更多种类的葡萄叶片病害 数据,通过在该数据上进行训练和测试,以使其能更好 地应用于实际生产过程中的葡萄叶片病害识别。

　　参考文献

　　[1] JIANG P,CHEN Y H,LIU B,et al.Real-time Detection of Apple Leaf Diseases Using Deep Learning Approach Based on Improved Convolutional Neural Networks[J]. IEEE Access,2019.7:59069-59080.

　　[2] AMARA J,BOUAZIZ B,ALGERGAWY A.A Deep Learning- based Approach for Banana Leaf Diseases Classification[C]// Datenbanksysteme für Business,Technologie und Web (BTW 2017)-Workshopband,2017.

　　[3] DURMUŞ H,GÜNEŞ E O,KIRCI M.Disease Detection on the Leaves of the Tomato Plants by Using Deep Learning[C]//2017 6th International Conference on Agro- Geoinformatics.IEEE,2017:1-5.

　　[4] 王国伟,刘嘉欣.基于卷积神经网络的玉米病害识别方法研 究[J].中国农机化学报,2021.42(02):139-145.

　　[5] 陆健强,林佳翰,黄仲强,等.基于Mixup算法和卷积神经网 络的柑橘黄龙病果实识别研究[J].华南农业大学学报,2021. 42(3):94-101.

　　[6] TAN M X,LE Q V.Efficientnetv2:Smaller Models and Faster Training[C]//International Conference on Machine Learning.PMLR,2021:10096-10106.

　　[7] TAN M X,LE Q V.Efficientnet:Rethinking Model Scaling for Convolutional Neural Networks[C]//International Conference on Machine Learning.PMLR,2019:6105-6114. [8] 苏仕芳,乔焰,饶元.基于迁移学习的葡萄叶片病害识别及移 动端应用[J].农业工程学报,2021.37(10):127-134.

　　[9] 方晨晨,石繁槐.基于改进深度残差网络的番茄病害图像识 别[J].计算机应用,2020.40(S1):203-208.

　　[10] 倪建功,李娟,邓立苗,等.基于知识蒸馏的胡萝卜外观品质 等级智能检测[J].农业工程学报,2020.36(18):181-187.

关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/52487.html