SCI论文（www.lunwensci.com）
摘要：使用电梯智能阻车系统可有效防范火灾隐患。从图像识别和信息融合两个角度入手，开发电梯智能阻车系统。监控视频信息采集方面，提出外景抓拍检测加内景摄像头二次识别确认的方式，可减少遮挡或伪装电动车进入电梯造成的误判和漏判。在图像识别上，通过试验法现场拍摄电动车进入轿厢的各种位姿，辅助以网络爬取扩充样本数量，并依据局部不变性原理，进行缩放、旋转、镜像，训练构建模型库；使用嵌入式处理器采用YOLO V3深度学习的目标检测算法，完成对内外摄像头抓拍输入图像的识别、推理，自动识别电动车。信息融合方面，加装传感检测单元以提高目标识别的准确率，在电梯轿厢底部合适位置布局地感线圈检测电动车金属底架。最后，控制模块根据融合识别结果给出控制策略。发现电动车进入电梯时，执行模块控制电梯开门按键常通，无法关门，同时发出声光报警。结果表明，与单一轿厢内部摄像头检测相比，所提出的方法识别准确率得到有效提高。
关键词：图像识别；信息融合；电梯；智能阻车
Research on intelligent Vehicle Blocking System of Elevator Based on Image Recognition and Information Fusion
Zhou Yongqiang，Wang Wanjun，Yang Hao，Fang Yi
(School of Mechanical and Electrical Engineering,Luoyang Vocational and Technical College,Luoyang,Henan 471032,China)
Abstract:The use of elevator intelligent car blocking system can effectively prevent fire hazards.Based on image recognition and information fusion,an elevator intelligent vehicle blocking system is developed.In the aspect of surveillance video information acquisition,the method of exterior shot detection and interior camera secondary recognition and confirmation is proposed,which can reduce the misjudgment or omission caused by blocking or camouflaging electric vehicle entering the elevator.In terms of image recognition,various positions and poses of the electric vehicle entering the car are photographed on the spot through the test method,and the number of expanded samples are obtained with the aid of network crawling.Moreover,according to the principle of local invariance,the model library is trained and constructed.The embedded processor adopts YOLO v3 deep learning target detection algorithm to complete the recognition and reasoning of the input images captured by internal and external cameras and automatically identify the electric vehicle.In terms of information fusion,a sensing and detection unit is added to improve the accuracy of target recognition,and the ground sensing coil is placed at the right position at the bottom of the elevator car to detect the metal chassis of the electric vehicle.Finally,the control module gives the control strategy according to the fusion recognition results.It is found that when the electric vehicle enters the elevator,the execution module controls the elevator door opening button and can not close the door.At the same time,the sound and light alarm is issued.The results show that compared with the single elevator capsules internal camera detection,the method effectively improve identification accuracy.
Key words:image recognition;information fusion;an elevator;intelligent stopper
0引言
近年来，高层住宅由于电动车通过电梯上楼充电导致火灾事故频发，严重威胁人民群众的生命财产安全。在采用人工提示、张贴告示或是摆放长凳等方式阻止电动车进入电梯效果不佳的情况下，研究利用技术手段阻止电动车进入电梯入户充电具有重大意义[1]。
目前国内阻止电动车进电梯的科技方式主要有基于光幕采集板的阻车系统和基于图像识别的阻车系统两种[2]，其研究和应用主要是由第三方公司后期加装完成，发现电动车进入电梯轿厢，联动电梯阻止关门。光幕采集板直接扫描轿厢内电动车金属部分的轮廓和移动轨迹，可以准确判别电动车是否进入电梯箱体，但需要加装的阻车配件价格偏高，且在电梯运送重物大型物品时容易被损坏。单一图像识别的阻车系统结构简单，成本低易于安装，但识别精度受制于模型库数量，且电动车稍加伪装或用物品覆盖就难以正确识别[3]。
本文基于图像识别与信息融合的方法，提出了一种电梯智能阻车系统解决方案。创新点在于图像识别方面采用了内景加外景摄像头采集方式，并在此基础上增加了地感线圈检测，提高了禁入目标检测的准确性。对进入电梯的电动车进行精准识别并语音播报，同时触发阻止关门控制。最大限度避免婴儿车、轮椅、自行车等正常车辆的干扰和误报，同时对于电动车遮挡掩饰情况，也能够识别并作出反应。本课题研究成果的应用能有效阻止电动车乘梯入户充电，消除安全隐患，在很大程度上保障人民群众生命财产安全。
1总体设计方案
电梯智能阻车系统主要由电动车目标检测识别模块、控制模块、执行模块和通讯模块组成。电动车目标检测识别模块通过实时采集监控视频、图像识别、嵌入式处理器运算处理，当检测到有电动车进入电梯轿厢时，控制模块将通过程序发出控制信号，驱动执行模块继电器，保证电梯保持开门，不响应任何呼梯操作[4]，语音播报劝说电动车退出电梯，并通过通讯模块网络发送抓拍图像至监控室服务器，以留存证据。直到将电动车推离电梯，才可以关上电梯门，将事故隐患消灭在萌芽状态。系统总体控制框图如图1所示。
2机构设计
电梯智能阻车系统最主要的机构是电动车目标检测识别模块，它由视频采集单元、图像识别单元、传感检测单元组成。
2.1视频采集单元
一般来说，在人把电动车推至电梯门口前，不会对电动车进行遮挡伪装。本系统视频采集单元采用双摄像头实时监控电梯内外的情况，一外一内相配合采集实时信息。外景摄像头安装在一层电梯厅门外侧上部中央位置，正对将要进入电梯的区域进行外景的视频信息采集，主要用于防止恶意遮挡电动车进入轿厢，仅有内景监控摄像头不足以准确识别[5]。内景监控摄像头主要负责对进入电梯轿厢的人和物的视频信息进行再次采集，提高识别的准确率。如图1所示。
2.2图像识别单元
图像识别单元对视频采集单元拍摄采集的视频信息进行运算处理[6]，识别判断是否有电动车进入电梯，并向阻车系统控制模块发送信号，主要由嵌入式人工智能处理器和目标检测算法组成。
2.3传感检测单元
为了提高阻车系统的识别准确度，在通过安装在轿厢底部的地感线圈和电容等电气元件构成振荡电路，来检测进入电梯的电动车目标，根据一般电动车的车架底部距地面的高度以及前后轮的轴距，采用预埋或者线路板的形式将地感线圈安装在电梯进门后30 cm左右处的地面上，现场布局时依照实际需要进行线圈的匝数的确定，以调整感应高度达到准确检测的目的[7]。地感线圈矩形安装，两条长边与平行于轿厢门，两长边的距离一般为0.3~0.5 m，长边的长度根据电梯轿厢的大小，一般为0.8~1.0 m。
3控制系统设计
电梯智能阻车系统控制的主要任务：一是电动车进入轿厢的准确识别，二是识别到电动车后的禁止关门控制。
3.1电动车进入轿厢的准确识别
电动车进入轿厢的准确识别依靠图像识别加地感线圈检测方式实现。图像识别分为两大步，步骤一是训练构建模型库，步骤二是电动车目标检测。具体如下。
(1)训练构建模型库
数量充足、恰当反映电梯轿厢内各种电动车特征的模型库能有效提高目标识别的效果。目前最为标准的目标识别数据模型库为VOC数据集，它是图像识别和分类的一整套标准化的、优秀的数据集。但是，数据集中电梯环境下的电动车类目标很少，样本数量不足导致的数据不平衡会对识别结果造成影响[8]。
为解决这样的问题，通过在实验环境下模拟电梯轿厢中不同类型电动车不同角度进入和不同停放位置，现场自己拍摄，辅助以网络爬取，对模型库进行扩充，使之更加代表实际情况。各个方向角度位置的电动车，捕捉人推电动车手握车把的图片，单手握和双手握以及左手握把右手扶座的图片各若干张，电动机无遮挡和有遮挡图片各若干张，车头朝里和朝外的各若干张。同时，考虑到电动车在电梯内外停放位置、环境亮度、监控视角以及电动车在轿厢中运动都会导致监控拍摄到到的电动车图像发生形变、旋转、尺度变化、遮挡重叠等情况，对采集到的电动车目标样本进行人为的镜像、扭曲、压缩、旋转，调整样本饱和度等方式生成新样本[9]，充实到模型库中。
一般来说，对于深度学习的目标识别算法，网络结构越复杂，网络参数量越大，网络训练过程越复杂，对不同场景模式的各类目标识别效果也越好，鲁棒性越强，但对硬件条件的要求也越高[10]。目标检测算法的实现离不开深度学习框架，本文采用TensorFlow框架在Ubun‐tu16.04中搭建YOLO V3网络，网络训练时需要GPU提供计算能力，因此在服务器方面，选择Core i7，4核CPU；16G内存；GPU选用GTX 1080Ti，4GB的显存；摄像头选用海康威视DS-2CD3325-I。在训练阶段，首先通过视频采集单元监控摄像头获取电动车进入电梯轿厢的视频信号，然后把视频数据通过OpenCV技术分割为视频帧[11]，接下来通过滤波，去模糊等算法进行视频帧数据增强，最后将处理好的数据输入到性能优良、结构简单易于扩展、检测速度快、性价比高的YOLO V3算法中进行训练，得到训练模型[12]。在VOC数据集支持下，实现整个YOLO网络的训练和测试，通过对其进行扩充和平衡得到模型库。
(2)电动车目标检测
电动车目标检测是在嵌入式系统上运行图像识别算法完成的。嵌入式系统的核心是嵌入式人工智能处理器，芯片采用国产全志V831，主频ARM-Cortex-A7，800 MHz。目标检测算法需要在识别准确度、识别速度、硬件要求、算法实现复杂度等多方面折衷[13]。采用YO‐LO V3算法能有效稳定运行，在保证识别效果的前提下尽可能地提高识别速度。在检测阶段，外景摄像头采集实时的监控视频，使用OpenCV读入Python中[14]。若外景摄像头采集到的目标信号中，经过嵌入式处理器识别运算，没有发现电动车，则不会启动内景摄像头识别，内景摄像头处于休眠状态，这样不仅可以节约电能，而且省却了二次目标检测识别过程，节省存储空间。若外景摄像头拍摄到了电动车，则通过嵌入式处理器给内景摄像头发出触发信号，内景摄像头开始工作，采集实时监控画面，与训练模型库对比，经过算法再次识别，若判断确实电动车进入了轿厢，则向阻车系统控制模块发出阻车信号。如果因为伪装等原因，外景摄像头拍摄到了电动车，而内景摄像头采集的视频识别结果无法判断是否电动车进入了轿厢，则需要结合传感检测单元检测结果综合进行判定。
阻车系统启动同时开启传感检测模块。当电动车进入电梯轿厢时，因为电动车车架底部属于大范围金属物质，经过地感线圈时空间介质发生了变化，导致了振荡频率的升高[15]，然后由单片机将频率值的变化转换成开关量传送给控制模块。而自行车由于车轮直径和轴距以及车架高度与电动车有很大区别，经过地感线圈所产生的频率变化也有很大不同，调试时可将两者区分，只有电动车经过时单片机输出信号给控制模块。
按照电动车目标检测识别模块识别结果不同，分为3种情况控制：
①外景摄像头检测到电动车，启动内景摄像头二次检测，结果并未识别到电动车，同时传感检测单元的地感线圈也未感应到电动车车架的存在，则说明电动车未进入电梯轿厢。在这种情况下，控制模块无需对后续执行模块发出阻车信号，电梯在原有控制系统下正常工作。
②外景摄像头检测到电动车，启动内景摄像头二次检测，结果也识别到电动车，同时传感检测单元的地感线圈也感应到电动车的存在，则说明电动车已进入电梯轿厢。
③外景摄像头未检测到电动车，而传感检测单元的地感线圈感应到了疑似电动车的存在，需要启动内景摄像头二次检测，若内景摄像头未识别到电动车，则说明电动车未进入电梯轿厢，电感线圈感应到的信号可能来源于进入电梯放置的含钢板之类的物品；若内景摄像头识别到电动车，则表明电动车经过了精心伪装，导致外景摄像头未识别出来，此时应认定电动车已进入电梯轿厢。
电动车目标检测识别流程如图2所示。
3.2识别到电动车后的禁止关门控制
电动车进入轿厢被检测到后，控制模块发出输出控制信号给执行模块，执行模块中的继电器线圈得电吸合，其常开触头并联在电梯轿厢开门按键两端，此时常开触头闭合，将电梯开门按键短接，相当于一直按着开门按键，电梯无法关门[16]。同时，触发声光报警，通过语音报警器发出提示：“为保障大家的安全，请将电动车推出电梯，谢谢配合！”，红色警示灯闪烁。电动车被推出轿厢后，继电器线圈失电，其并联在电梯轿厢开门按键两端的常开触头断开，开门按键恢复正常控制，声光报警自动消除。
通信模块通过以太网方式将电动车目标检测识别模块、控制模块组成局域网，实现本地控制，也可通过交换机连接到监控管理中心，当检测到电动车进入电梯后，网络发送抓拍图像至监控室服务器，为进一步优化目标检测算法有效扩充模型库。
4测试验证与结果分析
为了验证本文所提方法的有效性与可行性，将单一轿厢内部摄像头检测与采用外景+内景摄像头检测+地感线圈检测信息融合方式的正确识别数和识别率通过实验进行比较[17]。用前文所述方法训练的模型库来验证本文所提方法在电梯场合识别电动车进入轿厢的实用性、有效性。随机选取100组样本进行识别实验，其中电梯正常运行情况即无电动车进入的数量40个，有电动车进入轿厢的数量60个。
经过统计分析，得到了采用传统单一轿厢内部摄像头检测与本文所提采用外景+内景摄像头检测+地感线圈检测信息融合方式识别的统计结果。如表1所示。传统单一轿厢内部摄像头检测的正确率为93%，外景+内景摄像头检测+地感线圈检测信息融合方式识别的正确率为98%。如表1所示。
其中正常运行情况中，单一轿厢内部摄像头检测出现了3个误判，一处是1∶1塑料泡沫电动车模型进入电梯，还有一处自行车携带大件行李进入，以及电梯厅门口恰巧经过或停放有电动车。而本文在此基础上，增加了外景摄像头和地感线圈检测，进入轿厢的泡沫电动车模型和仅在电梯门口经过或停放的电动车，地感线圈均感应不到大件金属物，故认为没有电动车进入电梯，表明融合地感线圈检测结果的确可以提高识别精度[18]。当然也出现了1次误判，是电梯厅门口恰巧经过或停放有电动车，被外景和内景摄像头识别到，同时有人携带具有金属底座物品乘梯，地感线圈也感应到了大范围金属物品的存在，因而产生了误判，此种情况属于巧合，发生概率较低，不具有代表性。
在有电动车进入轿厢的情况中，单一轿厢内部摄像头检测出现了4个误判，基本都是由于进入轿厢的电动车遮挡伪装过于严重，比如用硬厚有型的纸箱将电动车大部分罩上，或是用电动车辅助搬运大件行李，改变了电动车的外观，影响了识别的结果。而加了外景摄像头和地感线圈检测后，误判减少为1个，也说明了信息融合使识别精度得到了有效改善。
5结束语
本文从图像识别和信息融合两个角度入手，开发电梯智能阻车系统。首先采用外景+内景摄像头二次识别确认的方式，在嵌入式处理器上运行深度学习的YOLOv3目标检测算法[19]，对进入电梯的电动车进行图像识别，同时结合地感线圈检测电动车金属底架结果进行信息融合，推理、判断，自动识别电动车[20]。
最后，控制模块根据融合识别结果给出控制策略，当发现电动车进入电梯时，执行模块控制电梯开门按键常通，无法关门，同时发出声光报警。实验结果表明，本文方法简单有效，具有智能阻车功能，识别准确率高，可减少恶意遮挡伪装电动车进入电梯造成的误判和漏判。
参考文献：
[1]河南省人民政府公报编辑部.«河南省消防安全责任制实施办法»政策解读[J].河南省人民政府公报,2020(22):21-22.
[2]游阳.电动车阻车系统研究[J].消防界(电子版),2021,7(1):69-70.
[3]郭琳琅,于杜周.电梯电动车阻车系统检验方法分析[J].特种设备安全技术,2022(1):34-36.
[4]高颖,王锋,白洁.基于物联网技术的防儿童单独乘坐电梯监控系统[J].中国电梯,2020,31(20):47-49.
[5]郭岩,贺同见,罗丹,等.电梯内电动车爆燃对策评估及阻车系统设计[J].消防科学与技术,2022,41(3):409-412.
[6]刘引涛,刘楠.基于ARM与4G网络的视频监控设计与实现[J].电子设计工程,2019,27(3):146-149.
[7]李信芳,李艳.浅析电梯智能阻车系统的加装属性[J].中国特种设备安全,2022,38(9):46-48.
[8]华志超.基于监控视频的电梯轿厢内禁入目标检测算法研究与实现[D].南京:东南大学,2019.
[9]马子喻.基于神经网络与证据理论的电动车进入轿厢识别研究[D].郑州:郑州大学,2021.
[10]牛长建,唐熊武.电梯轿厢加装电动自行车识别系统探讨[J].中国电梯,2022,33(2):23-24.
[11]刘敬.基于视频监控的虚拟电子围栏系统设计研究[D].济南:济南大学,2020.
[12]郭奕裕,周箩鱼,刘新瑜,等.改进注意力机制的电梯场景下危险品检测方法[J].计算机应用,2023,43(7):2295-2302.
[13]张媛,冯雨.基于树莓派和YOLOv3电梯内电动车检测系统设计[J].信息技术与信息化,2022(2):105-108.
[14]陈琳,陈传敬,张鹏.基于YOLOv4-tiny的电梯内电动车检测模型[J].价值工程,2022,41(12):117-119.
[15]王睿,朱江洪,李延来.基于直觉模糊MULTIMOORA的改进FMEA风险评估方法[J].计算机集成制造系统,2018,24(2):290-301.
[16]李璐.基于变焦双目立体视觉的三维重建系统研究[D].西安:西安电子科技大学,2020.
[17]吴琳.基于多特征融合的特定区域内运动目标分类算法研究[D].合肥:安徽大学,2014.
[18]魏连友.电梯物联网信息采集的技术特点及应用[J].通讯世界,2019,26(10):46-47.
[19]赵龙明.基于逻辑回归的二轮车对象及其状态识别方法研究与实现[D].重庆:重庆邮电大学,2021.
[20]朱孝慈.基于深度学习的电梯智能监控系统研究与设计[D].南京:东南大学,2021.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！ 文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/65985.html
