基于 YOLO 框架的实时交通标志识别算法研究与系统实现论文

SCI论文（www.lunwensci.com）

　　摘 要：道路交通标志识别受限于所处复杂的自然场景以及种类繁多等因素,目前少有实时性、准确性、稳定性等各方面 均衡的识别系统。利用在工业中应用广泛的 YOLO 算法对交通标志进行识别, 以满足实时性和稳定性 ;利用大规模的自标数据 集对深度网络重新训练,提升其泛化能力,保证识别准确性 ;将训练完成的深度网络部署在嵌入式设备 Jetson TX2 上,利用 跨平台框架 Qt 实现交互式界面, 使系统具备可应用性。该系统是一个通用平台, 可支持不同高精度且高实时的网络模型的替 换使用。

　　关键词：智能交通系统,交通标志识别,深度网络,大规模数据集,嵌入式


　　【Abstract】： Restricted by complex natural scenes and the variety of traffic sign, there are few traffic sign recognition systems that are balanced and practical in terms of real-time, accuracy, adaptability, stability, etc. This paper exploits YOLO algorithm, which is widely used in industry, to recognize traffic signs to satisfy real-time and stability requirements. The deep network is re-trained by using a large-scale self-labeled traffic sign dataset to improve its generalization ability and ensure the recognition accuracy. The trained deep network is deployed on the embedded device Jetson TX2. and the cross-platform framework Qt is used to realize the interactive interface, so that the system is fully applicable. This system is a general-purpose platform that supports the replacement of different high-precision and high-real-time deep network models.

　　【Key words】： intelligent transportation system;traffic sign recognition;deep network;large-scale data set;embedded


　　0 引言

　　道路交通标志检测和识别是智能交通系统的研究热 点 [1], 是智能辅助驾驶系统的重要技术组成。交通标志 蕴含许多重要的交通信息,如道路状况变化、速度限 制、驾驶行为限制等。通过对交通标志的检测和识别, 可以有效指导驾驶员规范驾驶车辆,降低交通事故的发生率,还能有助于交通标志的日常维护,同时也是无人 车研究的关键和基础 [2]。因此,对交通标志识别的研究 具有极大的价值和意义。

　　深度学习是目前最受关注的方向之一,在语音 [3]、 图像 [4] 和自然语言处理 [5] 等领域取得了公认的成果。 但在实际项目应用中却遇到了较大困难,其原因是深度学习会耗费大量的计算及存储资源,导致它很难在边端 进行模型训练和推理。而智能交通系统通常部署在车载 移动设备环境下,要求实时处理能力强,在资源有限的 本地仍然能进行交通标志识别。

　　综合考虑了在移动设备上的系统需要有很高的稳 定性、适用性和实时性,选择轻量级 YOLOv3-Tiny 模 型 [6] 作为基础网络模型,并利用中国交通标志数据集 重新训练 [7], 达到拟合的效果。将训练好的模型部署到 NVIDIA TX2 移动平台上,最终实现基于 YOLOv3-Tiny 算法的实时交通标志识别系统。系统具有良好的交互式 界面,功能包括图像识别、视频识别、相机识别以及其 他车载功能,该系统支持主流的网络模型进行替换。

　　1 基于 YOLOv3-Tiny 的交通标志识别算法

　　YOLOv3 算法是工业界应用的最为广泛的目标检测 算法之一。而 Tiny 版本则是由 YOLOv3 网络框架精简 得到,精度不高但速度快。在真实场景中,更注重网络 模型的轻量化和实时处理性能 [8]。因此我们以 YOLOv3- Tiny 算法为基础网络,重新训练后构建一个高实时性、 高稳定性、高准确性的交通标志识别模型。

　　1.1 YOLOv3-Tiny 算法框架

　　YOLO 系列算法将目标检测任务作为回归问题来解 决,其思想是将整张图像作为网络的输入,通过网络结 构的前向推理,最终在网络的输出层得到目标的边界框 和所属的类别。

　　YOLOv3 算法构造了一个全新的网络结构来实现回 归的任务,引入了残差的思想来加深网络,旨在能够提 取到表达能力更强的深度特征,从而实现更高精度的分 类效果。YOLOv3-Tiny 算法是由 YOLOv3 算法精简得 到,大幅地减少了网络层数,仅保留了 2 个独立的预测 分支,使得它的推理速度加快了 3 倍多。

　　在 YOLOv3-Tiny 算法主干网络部分,包含 10 个卷 积层和 6 个池化层,主要用于特征提取。在 YOLOv3- Tiny 检测部分,分别利用 13×13 和 26×26 两种不同 尺度的特征图进行回归和分类,每个尺度上都有 3 个锚 框来预测目标的类别和尺度。锚框的大小主要是由真实值利用 K-means 算法聚类产生的。

　　鉴于中国交通标志的大小比一般目标更小,在处理 输入图像时,我们采取了更大的网格划分,使得包围框 能在更小的区域寻找到目标。

　　1.2 YOLOv3-Tiny 算法框架

　　本文在 YOLOv3-Tiny 框架的基础上重新训练,用 以实现实时的交通标志识别,为部署到移动端奠定了算 法基础。算法的流程如图 1 所示。


　　网络的输入为一幅固定的图像, 划分成 S×S 的网 格,每个网格对应着 B 个检测框以及位置的置信度 C, 可以表示为 5 元组(x,y,w,h,C),其中 (x,y) 表示目标的 中心点坐标, w 和 h 对应长和宽。位置置信度 C 是由检 测框中包含目标的概率和准确度共同决定。在经过网络 的前向推理后,将会预测得到目标物体的位置信息及类 别概率 (x,y,w,h,C,classes),其中 classes 表示为分类的 类别概率。而网络的输出向量维度将由网络的划分来决 定,最终的输出向量为 S×S×[B×(4+1+classes)]。此外, YOLOv3-Tiny 网络采用二值交叉熵损失函数。

　　1.3 交通标志训练数据集

　　深度学习取得的成功归因于模型的质量、计算能力 的提高和大规模标记的数据。自从自动驾驶技术逐步发 展以来,模型的特征表示能力和 GPU 硬件的计算能力 都有了显著的提高。但交通标志数据集的发展却相对缓 慢,主要困难在于 ：(1)交通标志随拍摄的时间图像差 异较大 ;(2)交通标志的形状比例随拍摄角度、距离影 响图像差异较大 ;(3)拍摄不稳定使得图像模糊 ;(4) 长时间的日晒雨淋使得交通标志污损及褪色等。

　　因此,我们采用的数据集是由团队成员在 2020 年 提出的中国交通标志数据集 CCSTDB[9],该数据集主要 由城市道路数据与高速道路数据两大类组成,细分为警 告标志、禁令标志和指示标志三类,一共包含了两万余 张标定的图像,主要来源于在真实场景下采集的图像, 利用纯手工标定形成。利用这样的大型交通标志数据 集,大大地提高了训练模型的鲁棒性和准确性,为系统 的准确识别提供了充足的数据基础。

　　2 系统设计

　　2.1 开发工具及环境

　　本系统基于 Darknet 的深度学习框架下,采用 Qt 和 C++ 混合实现,其中 C++ 用于模块化封装所有的功 能。Qt 是一款跨平台的图形用户界面编程程序框架, 我们用于开发交互界面,实现系统与用户的友好交互。

　　本系统采用机架式 GPU 服务器对 YOLOv3-Tiny 模型 进行重新训练。训练使用的 CPU 型号为 Intel Xeon E5 系 列,2.3GHz, 内存 32G,GPU 型号为 TITAN X, 且保证 恒温恒湿的环境。此外,由于需要在移动端进行数据处 理,将训练完成的模型进行部署移植。车载处理器是一块 高性能、低功耗的 NVIDIAJetsonTX2 实时人工智能性能 的嵌入式设备, 模型可以直接在板上边缘设备上完成图像 采集、智能处理整个计算的过程,极大节省了运行时间。

　　2.2 功能模块

　　本系统以 YOLOv3-Tiny 算法实现交通标志识别为 核心,其他功能模块为辅助,实现了界面美观,操作简 单的交互效果。整个系统分为 6 个模块,分别为图像 识别模块、视频识别模块、相机识别模块、视频播放模 块、交通标志大全介绍模块以及退出系统模块,每个模 块都各具功能,形成了功能完善,功能突出的系统。

　　(1)图像识别模块 ：输入任意大小的图像,通过训练 完成的网络模型进行识别,通过 GPU 加速处理后,得到 对图像中交通标志的识别结果。网络自动将任意大小的图 像改变大小从而适应网络输入层, 通过模型前向推理的操 作,最后回归得到目标的所在位置和交通标志的类别信息 ;

　　(2)视频识别和相机识别模块 ：视频识别模块是读取 本地视频文件进行识别,而相机识别模块是调用前端的摄 像头实时拍摄的视频进行识别,两者的流程相似。先将视 频以及前端相机中的 TS 格式的视频流进行解封装,得到 ES 格式的视频流,然后利用 GPU 对 ES 流进行硬件解码, 得到 YUV 格式的图像,最后调用深度网络对其进行识别 ;

　　(3)视频播放模块 ：作为一个视频播放器为本地车 载视频提供播放的功能,具有快进、快退、暂停以及音 量加减等功能 ;

　　(4)标志大全模块 ：是帮助驾驶者了解全国最新最 全的交通标志大全及含义、交警的手势大全和含义、交 通标志和交警手势图解等,用于扩大用户的交通知识面 ;

　　(5)退出系统模块 ：是为了保证系统能够正确退 出,释放硬件资源,避免出现卡顿现象。

　　3 系统实现

　　本系统基于 YOLOv3-Tiny 算法,旨在实现一个稳 定的、实时的、准确的、可应用的交通标志识别系统, 界面利用 Qt 进行开发,如图 2 所示是系统的主界面。


　　进入功能界面后,下拉菜单提供不同的识别模块, 选择图像识别功能,打开对应的图像文件,系统显示识 别耗时、标志数量、标志类型以及位置信息,如图 3 所 示。单张图像需要解码、模型加载、前向推理以及结果 输出,因此处理一张图像约为 0.3s。


　　选择视频识别功能,打开对应的视频文件。读取视 频经过硬件解码后送入网络,识别后的结果如图 4 所 示,从中截取了其中一帧,识别到 2 个指示标志和 2 个 警告标志。本系统识别速度快,达到 65FPS。相机识别 效果与此相似,需调用相机获取视频。


　　选择视频播放功能时,可以选择本地视频进行播 放,支持播放快进、快退、暂停、提高音量等操作,如图 5 所示是该功能的初始界面。


　　4 结语

　　道路交通标志识别是智能交通系统中的重要组成部 分,需要保证整个系统的实时性、准确性、稳定性等各 个方面的均衡能力。选取 YOLOv3-Tiny 算法进行交通 标志识别,用于满足实时性和稳定性 ;利用大规模的交 通标志数据集对网络模型重新训练,使模型具备更好的 泛化能力,保证整个系统的准确性 ;此外,将训练完成 的模型部署在嵌入式设备 Jetson TX2 上,借助跨平台 框架 Qt 实现用户界面, 支持图像识别、视频识别、相 机识别的功能,还加入了多项辅助功能,使系统具备了 可应用性和适用性。本系统能够支持不同模型算法的替 代,且在今后的应用中还将针对高性能计算不断迭代优化。


　　参考文献

　　[1] 郭戈,许阳光,徐涛,等.网联共享车路协同智能交通系统综述[J].控制与决策,2019.34(11):2375-2389.

　　[2] 尉天成,陈小锋,殷元亮.基于多尺度卷积神经网络的道路交 通标志识别方法研究[J].西北工业大学学报,2021.39(4):891- 900.

　　[3] YANG X D,WANG W Z,YANG H W,et al.Simple Data Augmented Transformer End-to-end Tibetan Speech Recognition[C]//IEEE International Conference on Information Communication and Signal Processing,2020: 148-152.

　　[4] LU J,HE J X,LI Z,et al.A Survey of Target Detection Based on Deep Learning[J].Electronics Optics & Control, 2020.27(5):60-67.

　　[5] LE T H,CHEN H,BABAR M A.Deep Learning for Source Code Modeling and Generation:Models,Applications,and Challenges[J].ACM Computing Surveys,2020.53(3): 1-38.

　　[6] 李旭东,张建明,谢志鹏,等.基于三尺度嵌套残差结构的交 通标志快速检测算法[J].计算机研究与发展,2020.57(5):1022- 1036.

　　[7] ZHANG J,XIE Z,SUN J,et al.A Cascaded R-CNN with Multiscale Attention and Imbalanced Samples for Traffic Sign Detection[J].IEEE Access,2020(8):29742-29754.

　　[8] ZHANGJ,WANGW,LU C,et al.Lightweight Deep Network for Traffic Sign Classification[J].Annals of Telecommunications, 2020.75(7):369-379.

　　[9] 李旭东.基于深度卷积网络的实时交通标志检测研究[D].长 沙:长沙理工大学,2020.
 
 
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/54637.html