Sci论文 - 至繁归于至简,Sci论文网。 设为首页|加入收藏
当前位置:首页 > 理工论文 > 正文

基于 OR-CNN 的电动车进入电梯危险行为检测系统设计论文

发布时间:2024-04-11 09:48:17 文章来源:SCI论文网 我要评论














SCI论文(www.lunwensci.com)

  摘要:在楼宇中电动车不论是在电梯中还是在楼层中自燃爆炸都会给人们造成严重的危害,是一个重大的危险源。目前虽然在电梯口贴上了“电动车禁止进入”的提示标志,但效果不佳。因此,设计了基于OR-CNN的电动车进入电梯危险行为检测系统,以满足管理部门对禁止电动车进入电梯的需求。基于OR-CNN网络的电动车检测模型将RoI池化层替换为PORoI,PORoI池化单元通过先验知识将目标划分为5个部分,融合各个部分的特征信息,更好地完成在遮挡环境下的目标检测任务。此外,系统在发现违规行为时会使电梯门处于禁关状态,并发出警报提醒,对违规行为的视频段进行抽帧处理并记录存档,以便事后追责,实现智能化管理。测试结果表明,与YOLOv5相比,所设计的检测系统在遮挡情况下的电动车检测准确率明显提高,更适应电梯等狭小环境中目标遮挡的情况。

  关键词:OR-CNN;PORoI;电动车;电梯;危险行为检测;特征信息融合;管理智能化

  DesignofDetectionSystemofDangerousBehaviorofElectric

  VehicleEnteringElevatorBasedonDeepLearning

  LüQiaorun,LinHui,LiuXiaowei

  (SchoolofIntelligentEngineering,ShaoguanUniversity,Shaoguan,Guangdong512005,China)

  Abstract:Inbuildings,whetheritisinanelevatororinafloor,thespontaneouscombustionandexplosionofelectricvehicleswillcauseseriousharmtopeopleandisamajorsourceofdanger.Atpresent,althoughtheelevatorentranceispostedwitharemindersignthat"electricvehiclesarenotallowedtoenter",theeffectisnotgood.Therefore,anOR-CNNbaseddetectionsystemforthedangerousbehaviorofelectricvehiclesenteringtheelevatorisdesignedtomeettheneedsofthemanagementdepartmentforprohibitingelectricvehiclesfromenteringtheelevator.TheelectricvehicledetectionmodelbasedonOR-CNNnetworkreplacestheRoIpoolinglayerwithPORoI,andthePORoIpoolingunitdividesthetargetintofivepartsthroughpriorknowledge,fusesthefeatureinformationofeachpart,andbettercompletesthetargetdetectiontaskintheocclusionenvironment.Inaddition,whenthesystemfindsaviolation,theelevatordoorwillbeinaforbidden-to-closestate,andsendanalarminthecorrespondingelevator,thevideosegmentoftheviolationisrecordedandarchived,soastoholdaccountableafterwardsandachieveintelligentmanagement.ThetestresultsshowthatcomparedwithYOLOv5,theelectricvehicledetectionaccuracyofthedesigneddetectionsystemissignificantlyimprovedinthecaseofocclusion,anditismoresuitablefortargetocclusioninnarrowenvironmentssuchaselevators.

  Keywords:OR-CNN;PORoI;electricvehicles;elevator;detectionofdangerousbehavior;featureinformationfusion;intelligentmanagement

  0引言

  随着城市规模不断扩大,大量高层居民楼拔地而起,电梯的使用日益广泛。目前许多电梯外已贴有“电动车禁止进入”的提示标志,然而在实际中,仍然存在将电动车运进电梯中的情况,给业务管理部门的管理带来不便,给楼层中居民的生命及财产安全带来了严重威胁。

  在电梯中进行电动车检测并及时警报能有效地遏制将电动车运至楼层中的行为,防止电动车在电梯中或者楼道中自燃爆炸等会严重威胁到生命及财产安全事故的发生。

  由此看出,电动车进入电梯的检测具有巨大的应用价值,能够实现电梯安全管理智能化,目前国内外对电动车检测和遮挡检测算法做了大量研究,RossB等[1]提出R-CNN,是基于卷积网络的特征提取和启发式区域选择相结合,对目标分类和回归的框架,对目标检测等领域有着不可忽视的作用,但是特征提取较为耗时,因此往往实时性不强。HeKaiming[2]提出了SPP-NET,是一种空间金字塔池的池化方法,可将任意尺寸的图像提取出的特征转换产生固定长度的特征向量,即可将多次的特征提取转换成一次提取,虽然节约时间,但是区域选择策略将产生不少的冗余检测窗口,时间复杂度较高。郭琳琅等[3]对不同的电梯电动车阻车系统进行了分析,认为机械式阻车系统会给楼层住户上下运输大件物品时带来不便,并且可能使电梯内重心不均匀,异常情况下甚至会给电梯乘客造成二次伤害;认为电气式阻车系统中图像识别阻车系统识别装置安装角度不合理时,识别精度较差,容易产生误判,而认为其他感应式识别系统的感应装置易损坏,且维修成本高,需要定期检查。孙方伟等[4]对基于深度学习的遮挡目标检测算法进行了全面调查,并对已有的遮挡检测算法进行归类、分析、比较,随后对遮挡目标检测的相关背景、研究的难点以及遮挡数据集进行了介绍,对遮挡检测优化算法主要按照目标结构、损失函数、非极大值抑制以及部分语义4个方面进行归纳分析,在对各种算法之间的联系以及发展脉络进行了阐述后,对划分的4个方面以及各种算法之间进行了比较。ShifengZhang等[5]将目标结构信息集成在一个网络中,在FasterR-CNN基础上改进提出Occlusion-awareR-CNN网络,将RoI池化层替换为部分遮挡感知区域(PORoI),PORoI池化单元是通过先验知识将目标划分为5个部分,将各个部分特征信息融合,提升了部分遮挡时的目标检测鲁班性和准确性。张媛等[6]于2022年设计了基于树莓派与YOLOv3的电梯内电动车检测系统,实现了树莓派处理器与电梯控制系统的直接通讯,有助于电梯管理智能化,进一步提高了电梯内电动车检测的实用性。朱孝慈[7]于2021年设计了电梯智能监控系统方案,对智能视频监控功能、管理功能和电梯管理功能进行了需求分析,还对目标检测算法和挡门行为检测算法进行了研究,提出基于EfficientDet的目标检测算法CSPEfficentDet,不仅大大降低了模型复杂度,还提升了检测速度;还提出了基于2D卷积+3D卷积与非局部的神经网络行为识别方法,解决挡门行为在线检测的问题。马子喻[8]对基于神经网络与证据理论的电动车进入轿厢识别研究,提出了多神经网络和改进D-S证据理论结合的算法,提高了对电动车进入轿厢的监测准确性。

  综上所述,目前对电梯内进行电动车检测方法的研究缺乏将理论应用到实际系统的开发上,缺少实际开发实践的案例,所以本文提出一个基于深度学习的电梯内电动车危险行为检测系统的解决方案。本方案针对并解决电动车进入电梯等危险行为无法做出及时警告且制止的问题,将标志提醒禁止进入变为直接禁止进入,极大地降低了该危险行为引发安全隐患的可能性,并阻止了电动车入户的危险行为;当发现危险行为发生时,会通知物业管理人员并及时在电梯内给予广播警报,会对所有违规现象进行档案记录,以便事后溯源追责。

  1系统结构

  本系统包含视频数据采集模块、电动车检测模块、电梯运行管理模块、后端数据处理模块、前端实时展示模块。其中视频数据采集模块是在QT环境的基础上调用OpenCV库获取海康威视网络摄像头得到的实时视频流。电动车检测模块使用OR-CNN网络模型,通过分区域特征提取网络充分利用不同环境下电动车各个区域的像素点贡献度,以适应不同环境条件下的电动车检测任务,并在检测到电动车进入电梯危险行为后给电梯运行管理模块发送电梯门禁关的命令,同时根据OR-CNN网络对电梯内是否出现电动车的检测结果,对视频段进行抽帧处理。电梯运行管理模块采用电梯信息化管理系统,当接收到检测模块的“电梯门禁关”命令与存在危险行为的电梯IP信息后,对对应的电梯门进行常开处理,并在对应的电梯内发出警告信号。后端数据处理模块的持久层框架采用的是Mybayis,数据库采用的是MySQL,对违规人像图片、违规记录等信息进行统一管理。前端实时展示模块为社区管理人员设计了QT客户端,管理者通过权限认证后,可以实时观看不同IP电梯的实时监控画面、实时接收违规情况、查询违规历史记录等。系统结构框架如图1所示。

基于 OR-CNN 的电动车进入电梯危险行为检测系统设计论文

  2视频数据采集模块

  该模块是利用海康威视网络摄像头,开发时以QT环境为基础,调用OpenCV库显示摄像头获取到的实时视频。管理人员在人机交互界面中点“设备管理”,便会弹出对话框,管理人员需输入用户名、管理员密码等信息,在QT的槽函数中将利用该信息与各个不同电梯网络摄像头IP地址或管理人员选择的电梯网络摄像头IP地址结合并整理为RTSP协议地址,并打包为JSON格式的数据,分别写入内存中,以共享内存方式使Python分别读取这些数据并加以解析,在Python端使用OpenCV库工具并根据RTSP协议地址获取到网络摄像头视频数据,最后使用OR-CNN网络模型进行电动车检测,根据检测的结果,将检测的结果及绘制的电动车边界框的图像写入内存,并在QT端读取显示到界面上。

  3电动车检测模块

  本模块是本系统中的核心部分,是基于OR-CNN的电动车检测模块。FasterR-CNN框架是目前大多主流挡检测框架的基础。OR-CNN便是遵循两阶段的FasterR-CNN检测框架,其主要是包括两部分:第一阶段是RPN产生目标候选框,第二阶段是FastR-CNN对目标候选框进行分类与回归。为了更有效的针对电梯这种空间小且易对检测目标造成遮挡的复杂环境,还运用了OR-CNN网络第二阶段中的PORoI策略。

  3.1PORoI

  OR-CNN网络是在FasterR-CNN的检测框架基础上改进而来的,将原始的RoI池化层替换为部分遮挡感知区域(PartOcclusion-awareRegionofInterest,PORoI)池化单元,将检测目标先验结构信息与可见性预测整合到检测器中的FastR-CNN模块中,评估每个部分遮挡情况。PORoI池化单元根据先验知识将检测目标划分为5部分,分别提取这5部分的特征,再根据检测目标布局的先验知识可以获得互补的局部特征,最后结合这个检测目标的全局特征进行加权求和,得到融合特征后再做进一步分类加权,网络结构如图2所示。获得融合特征再做进一步分类与回归。

基于 OR-CNN 的电动车进入电梯危险行为检测系统设计论文

  由于OR-CNN中所有的网络单元都集成在单独一个网络中,能完成端到端预测,所以检测速度上是优于单独去训练每个部分的检测器。

  采用此策略,可以大大降低因部分遮挡而导致的信息缺失的使得检测准确率不高的问题,使得目标检测在易出现遮挡的环境下能够更好地发挥作用。

  3.2多尺度训练

  OR-CNN是遵循两阶段的FasterR-CNN检测框架,传统的FasterR-CNN网络是对所有用来训练的图像采用固定比例,因此可将全连接层由卷积操作实现:对前层为全连接的全连接层可以转化为卷积核1×1的卷积;而前层为卷积层的全连接层可转化为卷积核为h×w全局卷积,h与w分别是前层卷积结果的高与宽。由此法即可在模型的训练过程输入不同尺度的图像进行训练。

  将图像调整为多尺度,模型可以在更大的数据集中学习特征。训练过程对输入的图像尺度进行调节,将准备好的电动车数据集中的图像变为多尺寸,如320、416、608等。在迭代训练的过程中,每隔一定的次数便随机改变一次图像输入尺寸,如此不仅丰富了样本数据集,还使算法适应不同尺度图像的变化。多尺度的训练流程示意图如图3所示。

  采用此策略进行训练,可使模型接受不同尺寸的图像输入,对不同尺度的图像更具有鲁棒性,有利于增强算法的泛化能力,还有利于提高测试结果检测性能。

基于 OR-CNN 的电动车进入电梯危险行为检测系统设计论文

  4前端实时展示模块

  本模块的功能是为物业管理部门提供的,管理者需在终端安装QtCreator,然后调用登录接口得到服务端鉴权即可登录。管理者可以选择不同的IP地址选择对应的电梯监控画面。

  人机交互界面如图4所示,“监控画面”按键下有“全区画面”和“单梯画面”,“全区画面”按键下,是展示管理范围内的全部电梯监控压缩画面,“单体画面”按键下可选择不同位置电梯画面展示;“异常情况”按键,是会在检测到出现电动车进入电梯危险行为时,及时提醒,并展示对应电梯的监控画面,在“单体画面”或“异常情况”显示的单个视频界面下方会显示摄像头IP地址、电梯位置、对应电梯内电动车检测情况及时间,可以快速确定电梯内是否存在异常情况并定位异常情况发生的位置及时间;“违规记录”按键对应的槽函数是在MySQL数据库中获取历史违规记录数据并展示。

基于 OR-CNN 的电动车进入电梯危险行为检测系统设计论文

  5实验测试及结果分析

  本实验为了验证OR-CNN网络能够更好适应易出现遮挡环境下的目标检测,使其与原始YOLOv5在同样的配置条件下利用两个完全相同的测试集进行训练,对同3张不同遮挡程度图片的检测结果如图5~7所示。

基于 OR-CNN 的电动车进入电梯危险行为检测系统设计论文

  具体实验结果如表1所示。表中的mAP@.5表示IoU阈值为0.5情况下的每一类别AP值的平均;mAP@.5:.95表示IoU阈值从0.5开始以0.05步长递增到0.95对应的平均mAP。从表中的所有结果可以看出,在存在遮挡的条件的环境下,与YOLOv5相比,OR-CNN具有更好的平均mAP@.5和mAP@.5:.95值,对有遮挡条件下的目标检测有着更高的准确率。由此说明,OR-CNN网络在电梯内的电动车检测准确率较高,能够满足电梯此类狭小且易出现遮挡环境下进行电动车检测准确率要求,相比原始的YOLOv5更能够适应易出现遮挡情况的复杂环境。

基于 OR-CNN 的电动车进入电梯危险行为检测系统设计论文

  6结束语

  本文设计了基于OR-CNN网络模型的电动车进入电梯危险行为检测系统,首先在QT环境调用OpenCV库获取海康威视网络摄像头得到的实时视频流,然后通过OR-CNN网络模型进行电动车检测。实验测试结果表明,相比于YOLOv5,OR-CNN网络更能够适应电梯此类狭小易对目标造成遮挡的环境,满足电梯环境下电动车检测的准确率要求。系统对检测到有电动车的监控视频流段进行抽帧处理,将违规行为的帧图像记录进档案数据库,以便事后查证。本系统不仅为楼层住户生命及财产安全提供了保障,而且还为物业管理部门带来了极大的方便,实现了电梯安全管理智能化。

  参考文献:

  [1]GIRSHICKR,DONAHUEJ,DARRELLT,etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,NewYork:IEEE,2014:580-587.

  [2]HEK,ZHANGX,RENS,etal.Spatialpyramidpoolingindeepconvolutionalnetworksforvisualrecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,37(9):1904-1916.

  [3]郭琳琅,于杜周.电梯电动车阻车系统检验方法分析[J].特种设备安全技术,2022(1):34-36.

  [4]孙方伟,李承阳,谢永强,等.深度学习应用于遮挡目标检测算法综述[J].计算机科学与探索,2022,16(6):1243-1259.

  [5]ZHANGS,WENL,BIANX,etal.Occlusion-awareR-CNN:detectingpedestriansinacrowd[C]//ProceedingsoftheEuropeanConferenceonComputerVision(ECCV),London:ECCV,2018:637-653.

  [6]张媛,冯雨.基于树莓派和YOLOv3电梯内电动车检测系统设计[J].信息技术与信息化,2022(2):105-108.

  [7]朱孝慈.基于深度学习的电梯智能监控系统研究与设计[D].南京:东南大学,2021.

  [8]宋梦媛.基于改进FasterRCNN的多尺度人脸检测网络研究[J].自动化仪表,2022,43(11):39-43,48.

  [9]马子喻.基于神经网络与证据理论的电动车进入轿厢识别研究[D].郑州:郑州大学,2021.

  [10]王艳鹏,王振亚,赵继红,等.基于轻量化YOLOv4电动车头盔检测的算法[J].自动化应用,2022(6):8-12.

  [11]黎戈.YOLOv5目标检测算法多阶段改进[D].兰州:兰州大学,2021.

  [12]王韬,路博雅,刘芳瑜,等.基于FasterR-CNN的非机动车识别程序设计[J].信息与电脑(理论版),2022,34(11):147-150.

  [13]李信芳,李艳.浅析电梯智能阻车系统的加装属性[J].中国特种设备安全,2022,38(9):46-48,57.

  [14]张文韬.基于边缘计算的电动车入户充电检测方法研究[D].合肥:安徽建筑大学,2021.

  [15]黄虎.基于ZYNQ的电梯电动车入侵检测方法研究[D].荆州:长江大学,2022.

关注SCI论文创作发表,寻求SCI论文修改润色、SCI论文代发表等服务支撑,请锁定SCI论文网!
文章出自SCI论文网转载请注明出处:https://www.lunwensci.com/ligonglunwen/77302.html

发表评论

Sci论文网 - Sci论文发表 - Sci论文修改润色 - Sci论文期刊 - Sci论文代发
Copyright © Sci论文网 版权所有 | SCI论文网手机版 | 鄂ICP备2022005580号-2 | 网站地图xml | 百度地图xml