SCI论文（www.lunwensci.com）
摘 要：本项目利用深度学习对口岸场所视频监控采集数据流进行目标识别、分离,行为分析、标定,规则判定、预警 等,分析从周界警戒、堆场运提、仓储管理、检查验核、卡口监控等各环节相关的目标及行为,从而满足不同监管要求的智能管理与决策,最终实现口岸场所全封闭、全天候作业,监管部门全链条、全方位监管。
关键词：深度学习,场所视频,智能监管
Framework Design of Videos Intelligent Supervision of Port Sites with Deep Learning
YU Zehui, HUANG Chuangong, WANG Zhen, HE Luhua
(Fuzhou Customs Information Center, Fuzhou Fujian 350015)
【Abstract】： This project uses deep learning to conduct object identification, separation, behavior analysis, calibration, rule determination, early warning, etc. on the video surveillance data stream of the port sites, and analyze the objects and behaviors of the perimeter alert, container-yard transportation, storage management, inspection and verification, gate monitoring and other related processes, so as to meet the intelligent management and decision-making of different regulatory requirements. Finally, the department shall supervise the whole chain and all directions in port sites, while them are in the closed and all-weather operation.
【Key words】： deep learning;venue video;intelligent supervision
1 研究背景及目的
利用深度学习在场所各类行为如周界警戒、堆场运 提、仓储管理、检查验核、卡口监控等作业环节的智能 监管能力,实现车辆、货物、数据的信息化、可视化, 以及数据自动预警分析,运用信息化智慧监管手段对场 所实施监管,使其在不使用物理围网对监管货物和非监 管货物实施隔离的前提下,实现严密监管和高效运作的 有机结合。
进一步分析设计场所智慧监管需求,通过物联网、 视频 AI 技术、数据集成等前沿科技的应用,将结构化 数据和非结构化数据进行有效整合,与相关监管数据实 施交叉校验,实现口岸场所“全封闭作业、全链条监 管、全方位监控、全天候预警”监管新模式。
深度学习 [1] 也可以说是一种机器学习,而机器学习 主要研究人工智能,机器如何通过经验数据的处理以不 断改善运行其上的算法性能,使得其好像会学习一样 ;机器上通过模拟人脑神经建立的一些神经网络算法,能 像人脑一样来解释数据,做出学习、判断和决策,而且 这些神经网络包含了越来越多层感知器,似乎有了深度 一样,因此这类机器学习方法就称为深度学习。深度学 习对于人类最本能的视觉、听觉、思考方面自然大有裨 益,如自然语言处理、视频图形解析、机器翻译等,具 体如目标检测、车辆识别、行为判断更是广泛应用。深 度学习算法的应用需要两大基础 ：首先是需要用海量的 综合数据进行自学习、自归纳,在这方面,以视频监控 系统每天所产生的海量视频监控数据,已足够支撑深度 学习算法所需的样本数量 ;其次是需要依托 GPU 强大 的图像并行处理性能。GPU 又称显示核心、视觉处理 器、显示芯片,是一种专门从事图像运算工作的微处理 器, 在浮点运算、并行计算等方面可以提供比 CPU 性 能高数十、上百倍的性能,更适合深度学习算法的大规 模计算处理。
深度学习通过视频智能训练平台实现,通过对素材 模型标定、训练、校验、算法下发到前端设备,使得前 端设备具有智能算法,用户使用过程中,出现的识别错 误,可以把错误标定素材提供给厂家,进行再次标定训 练,以逐步提升算法精准度。
本项目研究视频智能监管平台需求,借助港区内的 泊位、堆场、查验场、卡口通道视频监控设备相结合, 设计从装卸船、堆场运提、仓储管理、检查验核、卡口监控等作业环节的智能监管要求,通过深度学习进行目 标识别、行为标定、规则判别等,实现现场操作与调度 管理协同合作,保证各环节的简单操作要求符合整个监 管场所资源配置的全局统筹,使整个监管业务流程更加 规范化、标准化,使船舶监管、港区装卸、堆场管理、 卡口监控等业务管理更加协调、科学和高效。
2 国内外研究现状与分析
深度学习由大数据处理的神经网络(CNN、RNN 等)发展而来,从感知器、多层感知器的不断引入,到 深度算法模型的推陈出新,特别是在 2012 年, Hinton G、Bengio Y、LeCun Y 等提出神经网络模型 AlexNet, 在参加 ImageNet 竞赛中获得碾压成绩,由此深度学习 进入了爆发式的发展阶段,可以说是深度学习的迅速发 展助推了人工智能进入新的时代 [2]。
近几年,我国在平安中国、智慧城市、智能交通等 方面的建设蓬勃发展,金融、社区、地产等各行业用户 的自动化识别、智能化预警需求的大量涌现,视频监控 市场取得快速发展。数据显示, 2010— 2020 年期间, 我国视频监控市场由 242 亿元增长到 2000 多亿元,年 均复合增长率达 24.53%。如何让视频智能监控从“看 得见”向“看得清”“看得懂”不断进化,利用计算机视 觉、图像处理、深度学习等人工智能技术为用户提供智 能视频监控方案,助力实现各行业“无人化、智能化”。
目前,利用计算机视觉、图像识别、深度学习等技 术,针对港口无人化、自动化发展方向,上海、深圳等 港口完成了国内首套港口无人化远控的视频系统,并在 多个港口推广实施。能够提供箱号识别、车顶号识别、 箱门朝向识别、箱体残损、RTG 自动避障控制、远程 视频操控等功能。
3 场所视频智能监管框架设计
3.1 设计思路
视频智能监管主要进行受监管货物堆存区、卡口通 道等现场视频图像数据的采集工作,结合场所现有重要 区域部分已建摄像机视频流,提供监管货物运输车辆车 牌号码、车辆过卡通行记录、越界入侵报警等分析数据传输到场所智慧监管模块和数据综合分析模块,为场所 智慧监管提供信息支撑,使场所监管工作人员能实时掌 握场所各重点区域发生的情况 [3]。
通过口岸场所实际区域实景或地图资源,建立面向 场所各类管理服务应用的全景可视化监管平台,实现口 岸场所统一的区域管理和各类重点敏感货物管理要求, 便于以时间、空间、作业规范、操作标准等方面实现各 方运行、管理、监管部门资源的有效整合与共享共用, 并可以展示现场工作实时画面、车辆运行情况、具体货 物单证数据等信息,通过与现场实时视频信息进行比 对,预警事件的分析处理,既可以实时核对场所存放货 物数据与现场实货信息一致,还可以结合场所规范、标 准来发现各类异常情况,作出相应处理。
利用口岸场所运营数据信息特征、云存储和计算服 务资源以及智能视频监控平台,建立场所区域、区域划 分、通道、人员、车辆、货物、数据流、视频流等资源 的可视化,实现虚实结合的监控与展现,对口岸场所运 营情况建立具备深度学习算法模型训练加持的视频智能 监控和预警,满足场所各业务运营、管理、监管部门要 求,保障口岸场所生产、物流、商务等各方面系统有效 对接联动。
3.2 视频图像解析
在对智能监控中的视频画面、截取图片中呈现出来 的物体、车辆、人员、数字、颜色等特征属性,运用目 标检测、对象识别、特征提取等深度学习的分析方法, 提取出核心信息,并描述出文本的语义,进而可被计算 机读取、检索、理解的文本信息。视频图像解析的一般 流程如图 1 所示。
视频智能监控会产生海量的视频与图片,这些原始 视频或图片均为非结构化数据,传统上要先由人工进行 内容信息的标注、提取,而半结构化视频或图片,则是 让计算机先提取部分信息,再由人工开始内容信息的标 注、提取。因此,不管是非结构化还是半结构化的视频 或图片,都不能有效满足场所视频智能监管的数据核验 车辆、货物监管业务,将视频或图片中的内容信息进行 结构化解析,是场所视频智能监管设计首先需要考虑的 问题。
3.3 视频智能分析框架设计
智能视频分析是利用计算机图像分析技术,进行视 频画面的结构化解析,还要将场景中的背景与目标区别 出来,分析理解在摄像机场景内出现的目标后进行追 踪,如果目标在特定场景中出现了违反某些预先设置了 规则的行为,监控系统就会启动预先设置的关联响应规则,以达到主动预警、自动提示的效果 [4]。
视频智能分析的框架设计主要有三种方式 ：(1) 是 前端分析,现在的智能分析摄像机具有 GPU 芯片及运 行的智能算法,可以在现场进行实时分析,但是,其硬 件性能限制,使其复杂算法难以适用 ;(2)是后端分 析,采用后端服务器加智能分析软件的运行方式,可以 借助强大的计算能力进行复杂算法的加载应用 ;(3)是 前后端融合分析,前端作为辅助手段,提取视频内容结 构化数据,后端服务器对数据进行运算,同时对目前前 端设备内置的智能算法尚不能独立识别的行为进行补充 分析,从而提炼出对系统预警有用的关键信息。考虑不 同口岸场所的视频监控智能分析应用场景复杂,根据视 频智能分析技术的发展方向,并从保护投资的角度来说, 视频智能分析应采用后端分析与前端分析并存的模式。
在口岸场所各作业环节过程中,主要分析周界警 戒、堆场运提、仓储管理、检查验核、卡口放行等中出 现的视频智能分析要求,包括视频基础应用、车辆人员 入侵预警、人工开启箱门预警、车辆识别异常预警、车 辆轨迹与货物属性不符预警、车辆停车位置与堆场属性 不符预警、场所周界越界预警、预警事件管理等功能设 计。视频智能分析框架如图 2 所示。
3.3.1 视频基础应用
视频基础应用通过流媒体转发服务器对数据源申请数据流和多线程网络分发,在地图上显示各类视频监控 点、位置、报警事件,实现监控报警的可视化。远程控 制前端镜头旋转、扫描、变倍变焦、预置位设置和启 动、巡航轨迹设定和启动等。自动轮巡视频画面,按照 事先设定的触发条件和时间间隔轮流显示相应的监控画 面,或者任意挑选轮巡的画面和顺序。远程控制指定设 备在设定时间内执行特定操作,处理或发出相应提醒、 警示类信息。
3.3.2 车辆人员入侵预警
以重点区域周边的监控摄像机为基础,通过对画面 中设置警戒线,防止重点区域的人员或车辆入侵。如果 有目标跨越警戒线,系统会自动锁定目标并触发报警, 同时将预警信息、报警相机 ID 与报警时间和预警切片 视频传送给场所智慧监管模块和数据综合分析业务模 块,以根据设定生成相应的预警信息。支持大范围内部 署穿越警戒线、区域入侵、进入区域、离开区域共 4 种 模式的入侵规则。
3.3.3 人工开启箱门预警
以覆盖堆场堆存区域的监控摄像机为基础,在相机 视野能够完整覆盖检测区域的情况下,利用大量的箱门 开启集装箱图片,经过神经网络的学习,实现对箱门开 启状态的检测。通过行人检测技术,可准确识别出开启 箱门的集装箱旁边是否有人存在。当检测结果显示 ：检测区域内有人员存在,并且集装箱门由关闭状态变为开 启状态后,即可判定手工开启箱门。预警信息产生后, 将预警信息、报警相机 ID 与报警时间和预警切片视频 传送给场所智慧监管模块和数据综合分析业务模块,以 根据设定生成相应的预警信息。
3.3.4 车牌识别异常预警
在触发车牌识别方面,采用由视频检测作为触发条 件,当检测到有车辆时,触发车牌识别任务的开启,对 相机监控范围内的车牌进行识别分析,并将分析结果进 行上报。车牌自动识别可对符合“GA36-2014”标准的 民用车、警用车、使领馆车及 2012 式军车、武警部队 车的牌照进行自动识别,如车牌号码、车牌颜色识别, 车辆图像信息能够准确记录识别捕获的通行车辆信息, 还关联识别的结构化信息,如捕获日期、精确时间、精 准地点、行驶方向、车牌号码颜色、车辆颜色、行驶速 度等,车辆图片及关联信息保存到数据库,同时将相关 识别确认的文本信息标注在图片上。
3.3.5 车辆轨迹与货物属性不符预警
以在重点区域和通道架设的监控摄像机为基础,对 往来车辆的动态车牌信息进行抓拍。将车牌识别结果与 结果对应的时间戳推送给场所智慧监管平台的数据综合 分析业务模块,由数据综合分析业务模块对车辆到达预 定区域与货物的属性是否相符,到达预定区域是否超 时,发现异常则产生预警。
3.3.6 车辆停车位置与堆场属性不符预警
以在重点区域和通道架设的监控摄像机为基础,利 用视频智能分析对“车辆停止”行为进行检测,在车辆 保持停止一定时间后,即可确认车辆并非为“临时停 靠”,随即触发车牌识别功能,由前端摄像机抓拍车牌, 进行车牌识别。在识别完成后,将车牌信息与结果对应 的时间戳推送给场所智慧监管平台进行数据综合分析, 判断车辆停车位置是否符合堆场属性等。可根据实际管 理要求调整最长停车时限,如果车辆在不符合停车的区 域停车超过限定时间,启动车牌抓拍,并自动放大跟踪 所停车辆,自动记录车辆的停车信息,提醒监管人员立 即采取适当处置措施或者其他自动处置预案等。
3.3.7 场所周界越界预警
以架设在场所周界的监控摄像机为基础,实现越界侦 测。在需要监控的周界上绘制单条、多条绊线,当有物体 越过绊线时,即可发出报警。当发生周界入侵行为时, 系 统将即刻生成报警指令,将预警信息、报警相机 ID 与 报警时间和预警切片视频传送给场所智慧监管平台的数 据综合分析业务模块,以根据设定生成相应的预警信息。
3.3.8 预警事件管理
在场所视频智能监管中,需要实时处理各类实时预 警事件,视频智能监控在地图上改变基础监控点颜色并 闪烁,监控人员查看实时事件详细情况,包括事件级 别、实际状况、时间点、所在区域 / 位置、事件源头, 事件类别、处理规则及联动应对措施等 ;监控人员可以 按照事件类别、事件等级、处理规则来区分报警事件, 过滤掉可能出现的误报 ;监控人员也可以按照所在区域 / 位置、事件源头、事件级别、事件类别、起始 / 结束 时间、处理规则、处理结果等条件查询、统计有关预警 事件,查看历史某个具体预警事件详细情况,在场所地 图上某个区域 / 位置查看事件的历史预警记录等。
4 结语
本研究将强化监管部门在场所周界警戒、堆场运 提、仓储管理、检查验核、卡口监控等 5 个重点作业环 节的监管能力,实现车辆、货物、数据的信息化、可视 化,实现数据自动预警分析,运用信息化智慧监管手段 对部门监管货物实施监管,在口岸场所实现不使用物理 围网对监管货物和非监管货物实施隔离的前提下,实现 监管部门的严密监管和场所的高效运作的有机结合。
参考文献
[1] LECUN Y,BENGIO Y,HINTON G.Deep Leaning[J]. Nature,2015(521):436-444.
[2] 鲍天龙.基于深度学习的监控视频中的异常事件检测和对象 识别[D].合肥:中国科学技术大学,2019.
[3] 王瑞,李霄峰,史天运,等.基于视频深度学习的铁路周界入侵 检测算法研究[J].交通运输系统工程与信息,2020.20(2):61-68. [4] 云旭,宋焕生,梁浩翔,等.基于深度学习的关键岗位人员行为 分析系统[J].计算机工程与应用,2021.57(6):225-231.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/63566.html
