SCI论文（www.lunwensci.com）:
摘要：目前,各类传感器广泛覆盖在人类生存的各个角落里,持续捕捉着地球表层的空间场景结构与变化过程,真实地记录着精细的场景信息和运动目标信息,为人们提供了丰富的视频信息。人们通常对视频监控中的前景目标（运动目标）较为感兴趣,而前景目标提取是运动目标跟踪和事件监测的前提,直接影响监测的精确性。本文针对监控视频的前景目标提取问题,提出了不同应用场景下的监控视频前景目标提取方法,并通过实验验证了方法的可行性。
关键词：前景目标提取；背景减除法；Vibe算法；光流法
Research on Foreground Target Extraction Method of Surveillance Video under Different Application Scenarios
XU Yaoyao1,Feng Xiaoyu2,LIU Yuan2
（1.Nanjing Center,China Geological Survey,Nanjing Jiangsu 210016;2.China United Network Communication Co.,Ltd.Beijing Branch,Beijing 100020）
【Abstract】：At present,various types of sensors are widely covered in all corners of human existence,continuously capturing the structure and change process of the spatial scene of the earth's surface,truly recording the fine scene information and motion target information,providing people with rich video information.People are usually interested in foreground targets(motion targets)in video surveillance,and foreground target extraction is a prerequisite for motion target tracking and event monitoring,which directly affects the accuracy of monitoring.This paper addresses the foreground target extraction problem of surveillance video,proposes a foreground target extraction method for surveillance video under different application scenarios,and verifies the feasibility ofthe method through experiments.
0引言
在我国,每年有数百万个新增摄像头,视频不仅用于车辆的交通监控,也可以对特定人和事件进行搜索,是公安机关最为重要的信息获取途径,可为公共安全和社会治安提供防范措施和技术保障。视频传感器获得的视频数据作为感知区域地理环境动态变化、获取事件信息的重要手段,更是成为了大数据中的重要数据源之一。随着视频的广泛应用,越来越多的学者参与到监控视频领域的研究中,其中运动目标的检测和跟踪是研究热点,而视频前景目标提取是运动目标跟踪的基础,对动态目标跟踪及行为理解的处理结果有重要影响[1]。目前,前景目标信息的提取研究还存在一些难点,主要问题在于前景目标往往存在于具有复杂、多变、动态的背景中。此外,相机姿态的变化也会影响前景目标的提取。如何充分考虑前景目标形态特征,针对不同视频场景选择适宜的前景目标提取方法是本文的研究重点。
1技术方法简介
本文所指视频前景目标提取,是将监控视频序列中动态前景（兴趣区域）与背景进行分离。目前,前景目标提取方法主要有帧间差分法、背景减除法、光流法等。
帧间差分法的主要思想是：计算相邻的2个视频帧或3个视频帧像素的时间差分,然后设置分割阈值进行阈值化,从而提取出图像中的运动区域,其提取结果受分割阈值值影响[2-4]。帧间差分法可较好适应于动态背景,且算法复杂性低,适用于各类实时监测场景,但提取的前景目标不完整,存在丢失特征像素的问题,容易形成“空洞”。针对这一问题,有学者将区域增长法、活动轮廓提取等方法与帧间差分法进行了结合,改进了三帧差分法,使得提取出的目标更加完整[5-9]。
背景减除法是目前最常用的视频前景目标提取方法之一,其主要思想是建立背景模型,将当前视频图像帧与背景模型做差分,对比图像像素点的灰度、统计信息或其他特征,以判定图像的像素点是前景还是背景,最终得到前景目标。背景减除法的提取效果取决于是否建立了适合的背景模型,总体上,该算法计算复杂度低、精度高,但当摄像机运动,即视频背景变动时,可能产生误差。
光流是指在三维空间中运动的物体在像素观测面上运动所产生的瞬时速度场[10-11],是三维运动在二维平面上的投影。光流法的主要思想是：在视频图像序列中出现前景目标时,由于运动前景目标遮挡了背景像素,导致了光流场在前景目标上出现了变化,以此检测出目标所在的区域,是一种简单、实用的瞬时运动状态反馈的方法。光流法不需要事先了解监控环境的基本条件就能够对运动目标进行检测,对摄像头晃动的情况也有较好的适应性,但相比于前两种方法计算复杂度较高,且易受噪声影响。
综上所述,如表1所示总结了现有的前景目标提取方法的优缺点和适用范围。
2监控视频前景目标提取
2.1静态背景下的目标提取
在使用固定摄像头且不包含动态背景的场景下,可选择使用一种简单有效的视频前景目标提取方法,例如背景减除法。背景减除法的核心思想是建立合适且可动态更新的背景模型。背景建模就是指构建一个代表“平均”背景的图像模型的过程,将监测视频与背景模型进行对比,通过比对灰度等特征的变化结果值设定判定规则,根据规则确定每一个像素是前景还是背景,从而设定最佳阈值提取出动态前景。
在使用背景减除法时,常使用第一帧作为背景模型,但由于动态前景在一开始就存在于监控视频中,使用第一帧作为背景模型不符合实际。本文为满足实际的需要,选择每一帧视频图像的前一帧作为背景图像,来实时更新背景像素值。若首帧图像中只有背景,则将帧图像作为全局的背景图像模型,记作B1(x,y)；否则可以抽取每一帧的前一帧图像或者计算出连续帧的平均值图像作为背景图像用于差分计算,记作Bk(x,y),k表示帧的次第数。
当监控视频的第一帧没有动态前景存在时,背景模型固定：
Dk(x,y)=|Ik+1(x,y)-B1(x,y)| （1）
当监控视频首帧存在动态前景时,背景模型设定为动态更新的前一帧：
Dk(x,y)=| Ik+1(x,y)-Bk(x,y)|（k=1,2,…,n） （2）
背景减除法流程如图1所示,实验结果如图2所示。实验表明,针对固定背景的视频,使用前一帧更新背景模型的背景减除法可以较好提取出前景动态目标。
2.2动态背景下的目标提取
在视频监测的实际应用中,很少出现完全静止不动的背景场景,多数的视频数据的背景都是复杂、多变且动态的。针对更加复杂的背景,单一固定的背景模型已无法保证背景减除法在动态背景中的目标提取精度,通过整理文献资料和应用实验也可发现,想要提高精度就必须建立复杂且合适的背景模型。
Vibe是一种像素级视频背景建模方法[12-13],与传统背景减除方法相比,Vibe算法考虑了单个像素与周围像素的空间相关性,基本思想是采用随机选择机制和邻域传播机制来建立和更新背景模型,使样本的生命周期更符合空间分布规律[13]。但在实际应用中Vibe算法的监测精度受样本距离参数R和更新率参数φ影响,不适合的参数仍容易出现“鬼影”“空洞”等噪声,如何合理的设置相关参数,是Vibe算法目前研究的重点问题。有学者提出根据前景目标的形态和时域特征,对不同的前景区域动态调整Vibe算法参数,提高Vibe算法对于鬼影、空洞、噪声、伪前景的去除能力[15]。
混合高斯模型是一种常用的背景建模算法[16],对动态背景视频的前景目标提取有较好的适用性,但其提取效果受高斯分布数量K的影响,传统的模型K值固定,算法复杂度低,运算速度快,但效果不太理想。为提高背景建模的适用性和鲁棒性,本文使用了一种基于混合高斯法的改进模型,可以根据场景实时区域变化状况,灵活调整K值,以提高混合高斯模型对复杂背景的适应能力[17]。
本文选取有背景有动态水流的视频作为实验数据,用传统的背景减除法、控制参数的Vibe算法和基于混合高斯的改进模型对视频前景目标进行了提取,对比提取效果如实验表明,对于背景中有动态水流的视频,使用改进的混合高斯模型提取前景目标效果更好。
如表2所示。能够非常直观地看到,在动态背景的视频场景中,与传统背景减除模型相比,调整R、φ参数的Vibe算法对噪点、鬼影、伪前景都进行了很好的处理,保证了前景目标提取的纯净,但人物目标提取不完整,仍存在“空洞”现象,而动态调整高斯分布数的混合高斯模型对前景提取较为完整,且无噪点、鬼影等问题。实验表明,对于有动态背景的视频,使用改进的混合高斯模型提取前景目标效果更好。有学者将Vibe算法和高斯混合模型相结合来提取前景目标,发现可较好抑制动态背景的干扰,提取效果较单一、算法更为稳定,适用于的场景更多[18]。
2.3晃动镜头下的目标提取
根据上文前景目标提取技术方法对比可知,帧间差分法和背景减除法都只适用于摄像头稳定拍摄情况下的前景目标提取,而光流法通过对光流的分析从而判断前景的变化,可适用于相机晃动以及静态背景中的视频的前景目标提取。监控相机发生运动和视频场景中的目标发生运动都会产生光流,本文提出的使用光流法提取视频前景目标方案适用于相机晃动运动幅度小于视频前景目标运动幅度的情况。晃动的镜头可以看作是拍摄的视频背景发生了旋转,在连续的两视频帧中,可用二维的运动矢量V=[Vxb,Vyb]T表示旋转。
其中,k为特征点序号,N为特征点总个数。
鉴于Harris角点法的稳定性、抗噪性且不受旋转变化影响的优点[19],本文在计算光流时,将Harris角点法提取视频图像的点特征作为有效计算光流法的输入参数。考虑到在多数视频场景都较为复杂,视频图像的特征点都属于背景,本文对所有特征点的光流矢量求平均值,将其作为背景的运动矢量。通过背景运动估计值对背景的运动矢量作校正,以目标运动矢量是否落在背景运动矢量的领域范围内为判定标准,若在落在领域内,则属于背景,若不在领域内,则属于前景目标,光流法流程如图3所示。
本文使用传统背景减除法、Vibe算法和光流法分别提取晃动镜头拍摄的视频中的前景目标以作对比,提取结果如表3所示,通过实验结果可知,即使在晃动的监控影像中,光流法对前景目标的提取和抗噪方面均有很好的效果。此外,光流法还可计算出运动目标的速度,可应用于视频运动目标跟踪和异常运动监测。
3结语
本文针对不同的视频拍摄场景,分别提出了适用的目标提取方法,并通过实验验证了方法的实用性。针对拥有静态背景的监控视频,提出使用背景减除法提取前景目标,实验发现其时间复杂性和空间复杂性相对较低,提取目标清晰,数学模型简单,易于理解。针对动态背景的监控视频,例如场景中有飘动的树叶、流动的水等,通过实验对比分析了传统的背景减除法、控制参数的Vibe算法和基于混合高斯的改进模型3种方法,结果表明控制参数的Vibe算法和基于混合高斯模型的提取方法,对鬼影、噪声、伪前景都有很好的去除能力,后者对空洞现象去除能力更强。针对晃动相机拍摄的监控视频,使用光流法对前景目标进行提取,通过实验发现,光流法不仅能够较完整提取出晃动视频场景中的前景目标,同时也具有较高的抗噪能力。本文考虑到了现实中的监控视频拍摄的多种场景,提出了对应的视频前景目标提取方案,以期为后续视频目标跟踪、行为分析等应用提供基础支撑。本文还存在一些不足,例如未考虑相机高速运动的情况和多视频场景下的前景目标提取,后续需做进一步研究,不断改善提取算法。
参考文献
[1]王浩.动态前景分离方法研究[D].长沙:湖南师范大学,2011.[2]A Lipton.Moving Target Detection and Classification from Real-Time Video[J].Proc IEEE Wacv,1998.
[3]韩赞,祁晋东,张禧龙.基于帧间差分法的视频轨迹模拟[J].科学技术创新,2021(33):85-87.
[4]刘红,周晓美,张震.一种改进的三帧差分运动目标检测[J].安徽大学学报(自然科学版),2014,38(6):55-59.
[5]张汝波,张爱丽.基于帧间差分和区域生长的运动目标检测算法[C].//中国人工智能学会第12届全国学术年会论文汇编.2007:461-465.
[6]刘伟洋,陈侃松,张丹,等.改进三帧差分算法在移动物体检测中的应用[J].计算机测量与控制,2017,25(02):177-180.
[7]郭文俊,常桂然.基于三帧间的移动障碍物背景目标提取算法[J].软件,2016,37(2):58-62.
[8]陈宝远,霍智超,陈光毅,等.一种改进的三帧差分运动目标检测算法[J].应用科技,2016,43(2):10-13.
[9]丁磊,宫宁生.基于改进的三帧差分法运动目标检测[J].电视技术,2013,37(1):151-153.
[10]万卫兵,霍宏,赵宇明.智能视频监控中目标检测与识别[M].上海:上海交通大学出版社,2010.
[11]宋恺,蔡轶珩,沈兰荪.利用光流-Snakes算法对动态舌体跟踪的初步研究[J].计算机工程与应用,2007(13):64-66.
[12]Barnich O,Droogenbroeck M V.ViBe:A Universal Back-ground Subtraction Algorithm for Video Sequences[J].Image Processing,IEEE Transactions on,2011,20(6):1709-1724.
[13]乐应英.树枝扰动下的改进VIBE算法[J].玉溪师范学院学报,2020,36(3):73-77.
[14]张磊,傅志中,周岳平.基于HSV颜色空间和Vibe算法的运动目标检测[J].计算机工程与应用,2014,50(4):181-185.
[15]徐长禄.视频监控中的运动目标检测与跟踪方法研究[D].南京:南京师范大学,2017.
[16]李键,丁学明.视频前景提取算法研究[J].软件导刊,2018,17(2):53-55+59.
[17]江绍宇.视频图像中运动目标的前景提取及跟踪[D].南京:南京邮电大学,2014.
[18]曹融,郝晓丽.融合混合高斯模型和阈值自适应的改进Vibe算法[J].太原理工大学学报,2020,51(4):516-521.
[19]朱善良,王浩宇,高鑫,等.一种基于改进混合高斯模型的运动目标检测算法[J].青岛科技大学学报(自然科学版),2019,40(4):113-118.
[20]张红瑞,马永杰.融合混合高斯模型的改进的Vibe算法[J].西北大学学报(自然科学版),2017,47(3):361-366.
[21]赵红军.背景运动估计与动目标检测[J].西南民族学院学报(自然科学版),2001,27(1):49-52.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/37871.html
