SCI论文（www.lunwensci.com）
摘 要 ：为解决现有数字式仪表自动读取方法依赖于大样本训练且精度不高的问题,提出了两级识别机制,即先对仪表图 像进行分类获取先验知识,然后基于先验知识获取表盘中感兴趣的区域并进行字符识别。该方法联合使用级联小波变换模块以 及 ELU 激活函数改进了 ResNet34 网络模型,提高了仪表盘分类的准确性,并采用先验知识获取感兴趣区域,进一步避免了 无关信息的干扰,减少了样本量。实验数据表明,文中方法是可行有效的, 300 张数字式仪表图像读取准确率为 95.67%,相 比于传统识别方法,该方法识别的数字式仪表的类型更多,效果更好。
关键词 ：图像分类,ResNet34.先验知识,数字式仪表,自动读表
Automatic Reading Methodfor Multi Type Digital Instruments Based on Image Classification
LI Bingbing, ZHU Ge, CAO Han, LI Feng, PAN Yuqing
(School of Computer Science and Communication Engineering, Jiangsu University, Zhenjiang Jiangsu 212013)
【Abstract】：To solve the problem of existing digital instrument automatic reading methods relying on large sample training and low accuracy, a two-level recognition mechanism is proposed, which first classifies the instrument image to obtain prior knowledge, and then obtains the region of interest in the dial based on prior knowledge and performs character recognition. This method combines cascaded wavelet transform modules and ELU activation functions to improve the ResNet34 network model and improve the accuracy of dashboard classification, and adopting prior knowledge to obtain regions of interest further avoids interference from irrelevant information and reduces sample size. The experimental data shows that the method proposed in the article is feasible and effective, with an accuracy rate of 95.67% for reading 300 digital instrument images. Compared to traditional recognition methods, this method recognizes more types of digital instruments and has better results.
【Key words】：image classification;ResNet34;prior knowledge;digital instrument;automatic reading table
0 引言
传统的仪表可以进一步分为数字式和指针式,并且 由于数字式仪表读取更加方便直观,目前在测试与控制 系统中应用非常普遍。但是,不论是数字式还是指针 式,这些传统仪表都需要人工抄表,费时费力,实时性 差、效率低、易受人为因素影响造成漏抄、误抄等数据 不准确的问题。因此,如何提高传统仪表的抄表效率便 成了一个亟待解决的问题,且不少学者为此做了不少工 作,展开了大量的数字式仪表自动读取方法的研究。
针对数字式仪表自动读取,目前主要存在两大类方 法,首先是通过目标检测的方法,例如, 2021 年华泽玺 [1] 等人以 YOLOv4 网络为基础结合注意力机制提出了一个 基于轻量级 YOLOv4 模型的数字仪表检测识别方法,能 够实时、准确地实现数字仪表的定位数显区域的定位及 字符读数的定位与识别,其数据集包含 10000 张图像 ; 2023 年陈开峰 [2] 等人通过改进 YOLOv5 目标检测框架, 提出了对于感兴趣区域的迭代目标检测方法,然后对感 兴趣区域内的字符进行检测并分类,提高了识别的准确率。然而,这些基于目标检测的数字式仪表自动识别方 法都需要大量数据进行训练,并且对数据集的要求较 高,大大限制了其应用推广。其次是结合字符分割以及 字符识别的方法, 常用的字符分割方法包括投影法 [3.4]、 连通域分割法 [5.6]。对于字符识别,常见的方法是使用 模板匹配 [7] 和支持向量机 [8] 方法, 近几年基于深度学 习建立网络模型进行字符识别 [9.10] 也被大家关注。例 如,2020 年郭兰英 [4] 等人使用投影法完成数字仪表中 字符与对应小数点的整体分割,并提出了一种可变形卷 积神经网络对字符进行识别 ;2016 年 Cui Xiaoxiao[11] 等人在分割时引入长宽比,并对不同比值采用不同的方 法,然后使用方向梯度直方图以及支持向量机进行分 类,但该方法适合某种特定的仪表,不够灵活 ;2019 年陈刚 [6] 等人对单个数码字符进行七段特征检测和五线 相交检测,实现了对数字式仪表数字字符的快速检测, 但该方法不适用于表盘复杂的仪表 ;2022 年邹彤 [12] 等 人以一定步长计算像素点裁剪数字区域,并提出自适应 由 × 字算法识别数字,但是该方法需要训练参数步长, 不够灵活。综上所述,现有的数字式仪表自动读取方法 仍存在如下几点问题 ：
(1)采用目标检测的方法进行识别时,需要大量的 样本进行训练才能达到理想的精度,但是大量的仪表数 据不易获得,进而大大限制了其应用推广。
(2)采用字符分割以及字符识别相结合的方法,往 往适用于特定的仪表类型,对每种仪表进行单独的训 练,而且对于新型号的仪表需要重新训练,泛化能力较 弱不够灵活,且识别精度不高。
为此,本文提出了一种基于图像分类的多类型数字 仪表自动读取方法,该方法首先引入 ResNet34 卷积神 经网络对数字式仪表进行分类,然后基于分类获取先验 知识,再融入先验知识进一步分割出感兴趣的区域并识 别表盘。该方法所需样本数量较少,且减少了不必要字 符的干扰,进一步提高了数字式仪表读取的准确率。
1 数字式仪表自动读取方法
常见的数字式仪表如图 1 所示。在进行数字式仪表识 别时,非表盘区域中的字符不需要识别,且表盘区域中只 需要识别相关读数字符。根据其特征数字式仪表读数的区 域(即感兴趣区域)容易通过横向投影进行分割。
为了进一步提高识别准确率,本文以数字式仪表感 兴趣区域作为分类依据,将常见的数字式仪表进行分类 并获取先验知识,然后融入先验知识进行字符分割以及 字符识别,进而实现表盘识别,其识别流程如图 2 所示。
其中预处理步骤主要包括倾斜校正和表盘定位等预处理过程,具体如下 ：
(1)倾斜校正 ：由于对仪表进行拍照时角度不同,会 导致仪表图像产生一定的倾斜角度,且数字式仪表的外形 多是矩形,因此对数字式仪表采用变换不变低秩纹理 [13] (TILT)进行倾斜校正。先是计算仪表图像透视变换各 种角度之后的矩阵对应的秩,然后找到矩阵的秩最小的 情况,最后利用透视变换的角度对原图像进行处理。
(2)表盘定位 ：对经过倾斜校正的数字式仪表图像 提取表盘位置减少复杂背景的影响。在该步骤中以单个 表盘作为检测目标制作数据集 ;训练 YOLOv5 目标检 测模型并对仪表图像进行检测,从复杂的背景中或者是 含有多个表盘的图像中提取表盘。该网络模型的输入为 含有单个或者多个表盘的仪表图像,以单个表盘作为检 测目标,输出为检测到的一个或者多个表盘。
2 获取先验知识
2.1 确定先验知识
数字式仪表通常有一个液晶显示屏用来显示数字读 数,而仪表的读取只需识别读数所在区域的字符,其余 字符不需要识别且会对识别造成干扰。本文分析如图 3 所示的经过预处理的数字式表盘的特征,其中如图 3(a) 所示表盘中所有字符均为仪表读数,如图 3(b)所示表盘中仪表读数仅处于第三行。
读数所在区域不同,但是 常见的数字式仪表的读数所在区域容易通过投影法从整 个表盘中分割出来,且一般处于表盘的第一行、第二以 及第三行、整个表盘。基于以上分析本文定义表盘感兴趣区域表示仪表读 数所在位置,通过获取感兴趣区域进一步排除其余字符 的干扰,提高仪表识别的准确率。本文依据表盘感兴趣 区域以及仪表类型等仪表特征确定如表 1 所示的先验知 识,该先验知识用于后续感兴趣区域的分割。表 1 中感 兴趣区域为 [0] 即表示整个表盘都为感兴趣区域 ;感兴 趣区域为 [2.3] 即表示表盘的第二行以及第三行为感兴 趣区域。
2.2 获取先验知识
ResNet34[14] 是一种深度残差网络包括 34 层, 最上 面为 1 个 7×7 的卷积层, 再经过 16 个残差块, 每个残 差块有两层卷积共 32 层,最后为 1 个全连接层。其优 势在于它能够训练非常深的网络,而且训练效率高,参 数少。这些优势使得 ResNet34 在图像分类、目标检测 和语义分割等任务中取得了很好的效果。因此本文以表 1 所示的先验知识作为分类类别,采用 ResNet34 网络模 型进行表盘图像分类,分类结果包含感兴趣区域,且为 进一步地提高分类的准确性,对 ResNet34 集成级联小 波变换模块并改进激活函数。
2.2.1 ResNet34 集成级联小波变换模块
本文基于由孙洁琪 [15] 等人提出的方法,将级联小 波变换模块嵌入到 ResNet34 中替换原有的池化操作,建立基于级联小波变换的 ResNet34 卷积神经网络对 仪表盘进行分类。级联小波变换模块可以分为基于 2D DWT 的空间池化融合层和基于 1D DWT 的通道池化 融合层。空间池化融合层通过引入注意力机制,将低频 分量和高频分量进行加权融合,从而保留更多的空间信 息。通道池化融合层通过使用 1D DWT 和注意力机制, 对通道维度进行降维和重构,从而减少通道冗余。网络 模型如图 4 所示。
2.2.2 激活函数 ELU
根据实验得知,在对仪表盘进行分类时,基于级 联小波变换的 ResNet34 卷积神经网络的准确性相对于 ResNet34 提升较小,为快速搭建仪表盘分类模型且提 高分类的准确性,本文对提出的模型进行改进,将激活 函数 ReLU 改为 ELU。
在原网络模型中运用 ReLU 作为激活函数,该激活 函数会影响神经网络的收敛,且 ReLU 激活函数会将图 像数据经过卷积计算后产生的大量的负值变为 0 后,导致丢失大量的特征信息 [16]。ReLU 的数学定义为如式 (1) 所示 ：
f(x)=max(0. x) (1)
而 ELU 激活函数与其他线性非饱和激活函数(如 ReLU 及其变体)相比, 有着更快的训练时间, 且没有 神经元死亡的问题。ELU 通过减少偏置偏移的影响,使 正常梯度更接近于单位自然梯度,从而使均值向零加速
学习 [17]。其数学定义如式 (2) 所示 ：
3 融入先验知识的表盘识别
3.1 提取感兴趣区域
为进一步提高识别的准确率, 本文通过融入基于分类 获取的先验知识—感兴趣区域, 分割表盘图像, 减少表 盘上非读数字符对仪表读取的影响。以图 3(b)所示的 数字式表盘图像为例,获取的感兴趣区域如图 5 所示。
所提算法如下所示 ：
输入 ：二值仪表盘图像 Ib,感兴趣区域所在位置数 组 Pos
输出 ：字符图像数组I
(1)对二值图像 Ib 从左到右进行横向投影,计算每 一行的黑色像素总数 Row[i], 其中 i=0.1.2……h, h 为图像 Ib 的高度 ;
(2)计算像素存在区间, 即遍历 Row, 将值连续大 于 0 的一段索引,记录在数组 Row_listj 中,其中j=0. 1.2…… m-1. m 为像素存在的区间个数 ;
(3) 若 Pos[0]=0. 截取 m 个感兴趣区域保存在数 组 Irow 中。其中第p 个感兴趣区域即为在二值仪表盘 图像 Ib 中截取 Row_listp 表示的区域。Irow [p]=Ib [Row_ listp [0]: Row_listp [-1],:,:], p=0.1.2…… m-1 ;
(4) 若Pos[0] 不为 0.截取感兴趣区域的个数为数组 Pos 的长度。遍历数组 Pos,记其值为 a,在二值仪表盘图 像Ib 中截取Row_lista-1 表示的区域,存放在数组Irow 中。
3.2 字符提取与识别
对于感兴趣区域图像采用纵向投影进行分割,并计 算各字符所有像素点个数,通过经验法判断小数点位 置,即小数点的像素和小于左右两边字符像素和的五分 之一,字符提取与识别如图 6 所示。
所示算法如下所示 ：
输入 ：感兴趣区域图像 Irow [i]
输出 ：字符图像数组 I
(1)对二值图像 Irow [i] 从上往下进行纵向投影,计 算每一列的黑色像素总数 Col[p], 其中p=0. 1. 2…… w, w 为图像 Irow [i] 的宽度 ;
(2) 计算像素存在区间,即遍历 Col,将值连续大 于 0 的一段索引,记录在数组 Col_listq 中,其中 q=0.1. 2……n-1. n 为像素存在的区间个数,即单个字符的个数 ;
(3)判断小数点,求数组 Col_listq 中所有元素的和 sumq, q=0.1.2…… n-1. 即求 n 个像素区间中所有像 素的和。通过经验法,满足如式(3)所示 ：
5sumb ≤ sumb+1 ∧ 5sumb ≤ sumb-1 (3)
其 中, b=1.2…… n-2. Col_listb 即为小数点所在 像素区间 ;
(4)分割单个字符,通过 Col_listq 记录的索引分割出 n 个字符图像,并将分割的图像依次存放在数组 I 中, 其 中 I[b] 为小数点。
4 实验及结果分析
4.1 数字式仪表分类实验
4.1.1 数据集
基于拍摄及网络搜集的电表、温度表等数字式仪表, 通过旋转、调整整体色调扩充数据集至 1488 张图像。依 据仪表盘感兴趣区域将图像标注为 4 种类别,分别为感 兴趣区域为整个表盘的 Num_0、感兴趣区域在表盘第一 行的 Num_1、感兴趣区域在表盘第二行的 Num_2、感 兴趣区域在表盘第二及第三行的 Num 2 3.实验采取 数字式仪表数据集中 80% 作为训练集,其余 20% 作为 测试集。
4.1.2 实验
(1)不同卷积神经网络在仪表分类上的对比。
为了对比不同的卷积神经网络对仪表分类的影响, 采用了 AlexNet、VGG16、GoogLeNet 以及 ResNet34 四种卷积神经网络在相同数据集下进行对比。实验结果 如表 2 所示,在相同数据集下, 采用 ResNet34 进行分 类准确率最高,达到 92.3%。
(2)激活函数以及级联小波变换模块对模型性能的 影响。
为了证明激活函数 ELU 以及级联小波变换模块对改进 ResNet34 模型性能提升具有实质性贡献, 对 ResNet34 网络模型以及嵌入级联小波变换的网络模型分别采用四种 不同的激活函数进行实验。
首先在相同数据集下,将 ResNet34 网络模型的激 活函数 ReLU 依次替换为 Sigmoid、ReLU6、SiLU 以及 ELU。实验结果如表 3 所示, 激活函数 ELU 对网络模型 的性能影响最大,测试集准确率提高 1.5 个百分点 ;
然后对采用激活函数 ELU 的 ResNet34 网络模型 嵌入级联小波变换模块,实验结果如表 4 所示,该网络 模型与原 ResNet34 网络模型相比,测试集准确率提高 2.4 个百分点,并且与嵌入级联小波变换模块的网络模 型采用激活函数 Sigmoid、ReLU6、SiLU 相比, 嵌入级联小波变换模块的网络模型采用激活函数 ELU 依然 可以显著提高模型性能。
通过本实验的结果来看,联合采用级联小波变换模 块和 ELU 激活函数可以显著提高模型的分类准确率, 增强了模型的可靠性,且不会引入多余可训练参数。
4.2 字符分割与识别实验
4.2.1 字符分割实验
本实验通过对搜集到的电表、温度表等 300 张数字 式仪表的表盘图像,通过改进的 ResNet34 模型进行分 类获取到感兴趣区域所在位置后,横向投影进行分割。 正确获取感兴趣区域 291 组,准确率达到 97%。正确 获取的 291 组感兴趣区域进行纵向投影,其中 289 组成 功分割出单个字符并判断出小数点位置。综上所述,本 实验的准确率为 96.3%。
4.2.2 字符识别实验
(1)数据集。
对于 1488 张数字式仪表进行分割之后共得到 6322 张 0 ～ 9 的数字截图,以及常见的仪表单位 A、KW、h、 Pa、%、℃共 8 个字符 1765 个截图。对其进行调色、旋 转后得到 16174 张图像, 将其中 80% 作为训练集,其 余 20% 作为测试集。
(2)不同卷积神经网络在字符识别上的对比实验。
为了对比不同的卷积神经网络对字符识别的影响, 采用了 AlexNet、VGG16、GoogLeNet 以及 ResNet34 四种卷积神经网络与改进的 ResNet34 在相同数据集进 行对比。实验结果如表 5 所示,在相同数据集下,采用 改进的 ResNet34 进行分类准确率最高,达到 93.7%。
4.3 总结
对搜集到不同光照、倾斜度以及不同读数的电表、 温度表等 300 张数字式仪表图像,通过本文所提方法能 够正确读取仪表数的有 287 张,准确率达到 95.67%。
造成仪表读取失败的主要原因有 ：图像被污物遮挡, 无法正确分割出感兴趣区域或正确识别小数点位置。一般说来,这种电表所占比例不大,所以本文所提方法具 有较强的鲁棒性,其成果将有助于推动数字式仪表检测 自动化的进程。
5.结语
本文指出传统的识别方法识别的仪表类型单一且精 度不足,而采用深度学习的识别方法需要大量数据,由 此提出了基于图像分类获取先验知识进行仪表识别的两 级识别机制,实验结果表明,该方法能够有效提取出 读数所在区域。本文联合使用级联小波变换模块以及 ELU 激活函数改进了 ReesNet34 网络模型, 该模型对 数字式仪表进行分类时,在准确率、稳定性上有很好的 表现,并大大减少了识别中所需的样本数量。在未来工 作中,将针对不同类型的数字式仪表,提升训练集的丰 富性以及模型的泛化性。
参考文献
[1] 华泽玺,施会斌,罗彦,等.基于轻量级YOLO-v4模型的变电 站数字仪表检测识别[J/OL].西南交通大学学报:1-11[2023-05- 23].
[2] 陈开峰,俞伟聪,唐雁文,等.基于轻量化深度学习网络的数字 仪表识别[J].科学技术与工程,2023.23(2):674-680
[3] 崔文学,崔义川,王朝晖,等.基于模板匹配和垂直投影的车牌 字符分割算法[J].齐齐哈尔大学学报(自然科学版),2015.31(6): 12-16.
[4] 郭兰英,韩睿之,程鑫.基于可变形卷积神经网络的数字仪表 识别方法[J].计算机科学,2020.47.(10):187-193.
[5] 姚梦洁.基于连通域的复杂背景下粘连单元分割算法[J].软 件导刊,2021.20(4):226-230.
[6] 陈刚,胡子峰,郑超.基于特征检测的数字仪表数码快速识别 算法[J].中国测试,2019.45(4):146-150.
[7] 郑琳,王福龙.改进HOG特征的车牌识别算法[J].软件导刊, 2022.21(5):193-197.
[8] 吕文强,杨健.一种有效的提高车牌首字符识别率的方法[J]. 计算机科学,2013.40(S1):176-179.
[9] LIN D Z,LIN F,LV Y P,et al.Chinese Character CAPTCHA Recognition and Performance Estimation Via Deep Neural Network[J].Neurocomputing,2018.288:11-19. [10] ZHANG X S,WANG Y.Industrial Character Recognition Based on Improved CRNN in Complex Environments[J].Computers in Industry,2022.142: 103732. [11] CUI X X,FANG H,YANG G Q,et al.A New Method of Digital Number Recognition for Substation Inspection Robot[A].2016 4th International Conference on Applied Robotics for the Power Industry(CARPI)[C]//2016.
[12] 邹彤,乐健,谌珺瑶,等.自适应×字算法识别仪表数字[J].仪 表技术与传感器,2022(4):108-111+118.
[13] ZHANG Z D,LIANG X,GANESHA,et al.TILT:Transform Invariant Low-rank Textures(Article)[J].International Journal of Computer Vision,2012.99(1):1-24.
[14] HE K M,ZHANG X Y,REN S Q,et al.Deep Residual Learning for Image Recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2016:770-778.
[15] SUN J Q,LI Y F,ZHAO Q J,et al.Cascade Wavelet Transform based Convolutional Neural Networks with Application to Image Classification[J].Neurocomputing, 2022.514:285-295.
[16] HIGATERI K B,SURYAVAMSHI S,RAJENDRA S.System for Detecting Car Models Based on Machine Learning[J].Materials Today:Proceedings,2022.52:1697- 1701.
[17] DUBEY S R,SINGH S K,CHAUDHURI B B.Activation Functions in Deep Learning:A Comprehensive Survey and Benchmark[J].Neurocomputing,2022.503:92-108
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/74645.html
