SCI论文（www.lunwensci.com）
摘 要 ：对于机场智能驱鸟应用中视频传输实时性和精确性要求,采用一种鸟类区域帧级码率控制优化算法,考虑人类视 觉系统中注意力机制对视频内容感知的差别,通过光电设备捕捉被驱离鸟群并对鸟类区域识别,利用灰度共生矩阵对光电视频 场景下图像帧进行空间复杂度计算 ;采用分级编码策略对于不同区域进行分块和标号处理,通过预测编码、变换编码和量化编 码进行光电视频场景下图像差异性编码,实现光电视频压缩效率和鸟类区域质量的最优化,达到被驱离鸟类目标特征高分辨率 视频快速实时传输,从而提高智能驱鸟系统的效率和性能。
关键词 ：分级编码,机场智能驱鸟,空间复杂度,鸟类区域
Research on Frame-level Code Rate Control OptimizationAlgorithm inBirdArea with Frequent Photoelectric Illumination
SUN Lei1. XU Jianrong1. LIU Shiwei2. GUO Hongchang2. NI Zhixu1
(1.School of Electrical, Yancheng Institute of Technology, Yancheng Jiangsu 224001;2.Support Team Directly under
the Air Force Support Department of Eastern Theater Command, Nanjing Jiangsu 210000)
【Abstract】：To meet the real-time and accuracy requirements of video transmission in airport intelligent bird drive applications, this paper adopts a frame-level bit rate control optimization algorithm for bird area, takes into account the difference in the perception of video content by the attention mechanism in the human visual system, captures the expelled bird flock by photoelectric equipment and identifies the bird area. The gray co- occurrence matrix is used to calculate the spatial complexity of the image frame in the photoelectric video scene. The hierarchical coding strategy is used to process the segmentation and labeling of different regions, and the image difference coding in the photoelectric video scene is carried out by predictive coding, transform coding and quantization coding, so as to achieve the optimization of the photoelectric video compression efficiency and bird region quality, achieve the rapid real-time transmission of high-resolution video features of the expelled birds, and thus improve the efficiency and performance of the intelligent bird repelling system.
【Key words】：hierarchical coding;airport intelligent bird drive;space complexity;bird region
引言
随着数字视频技术的不断发展,视频编码技术已经 成为数字视频处理中的重要组成部分。在视频编码中帧 级编码策略是一种常用的技术,将视频帧分成不同的部 分进行编码,以提高视频压缩效率和质量。图像视频在 智能驱鸟系统人机交互中扮演着重要的角色,光电设备 作为智能驱鸟系统的重要组成部分,通过视频传输帮助 用户更好地了解鸟类的活动情况和行为规律等,从而更
加有效地制定驱鸟策略。对于机场智能驱鸟应用中视频 传输实时性和精确性要求,图像视频在进行传输之前其 所占的内存都是特别大的,传统的视频压缩编码对于有 移动目标的缺点主要是在压缩后的视频中可能会出现运 动模糊、失真、块状效应等问题,导致关键信息的丢失。
对于移动目标区域编码的研究主要针对移动目标区 域检测和码率控制相关研究,文献 [1]- 文献 [5] 提出一 种宏块级别的比特分配方法,设计了不同的码率控制策略,能够有效提升用户主观视觉质量 ;文献 [6]- 文 献 [8] 提出一种基于感兴趣区域编码的质量可调码率控 制方法,并根据码率控制算法预测感兴趣区域 QP 的范 围 ;文献 [9]- 文献 [11] 提出了一种新颖的基于多目标 优化的编码树单元级感知比特分配方法,用于游戏视频 编码。利用可变视频编码提高游戏视频的视觉质量,同 时优化感兴趣区域质量、整体感知质量和 ROI 质量波 动。文献 [12]- 文献 [15] 提出一种码率控制改进方法, 采用宏块行作为一个基本 BU 编码单元进行码率预测、 编码,图像匹配精度得到提高,码率控制更加精准。
本文将针对光电视频鸟类区域监测中的帧级编码问 题展开研究,提出一种基于光电视频鸟类区域帧级码率 控制优化算法。该算法考虑人类视觉系统中注意力机制 对视频内容感知的差别,通过光电设备捕捉被驱离鸟群 并对鸟类区域识别,利用灰度共生矩阵特征量对光电视 频场景下图像帧进行空间复杂度计算 ;采用分级编码策 略对于不同区域进行分块和标号处理,通过预测编码、 变换编码和量化编码进行光电视频场景下图像差异性编 码,利用移动目标频繁的视频序列中的时空相关性,解 决了光电视频传输编码效率低的问题,实现了光电视频 压缩效率和鸟类区域质量的最优化。
1 光电视频图像空间复杂度计算
由于智能驱鸟系统人机交互中对鸟类视频实时监控 的实际需求,考虑人类视觉系统中注意力机制对视频内 容感知的差别,高空间复杂度的图像通常需要更高的比 特率才能保持高质量的编码。空间复杂度是指图像中像 素值变化的频率和幅度,它是视频编码中一个重要的质 量指标,本文采用灰度共生矩阵的方法对光电视频图像 空间复杂度迹计算。
在处理纹理变化缓慢的图像时,可以观察到其灰度共 生矩阵在对角线上的数值较大。相比之下,纹理变化较快 的图像其灰度共生矩阵对角线上的数值较小, 而两侧的数 值则较大。由于灰度共生矩阵所包含的数据量相对较大, 一般情况下不直接将其作为纹理特征来区分图像,而是利 用基于灰度共生矩阵计算出的各种统计量来描述纹理并进 行分类。Haralick 提出了 14 种可用于计算灰度共生矩阵 统计量的方法。为了减少计算复杂度,本文选择其中四种 统计量,分别是对比度、能量、熵和相关度, 通过这些统 计量,能够更有效地描述和推断纹理特性。
这四种灰度共生矩阵纹理特征计算公式如式(1)、 式(2)、式(3)和式(4)所示 ：
其中, I 表示对比度, E 表示能量, H 表示熵, Cov 表示相关度。P(i,j) 表示灰度共生矩阵中的第 i 行, 第j 列元素。px 和py 分别是灰度共生矩阵中每列和每行元素 的和, μy 和 σy 分别表示px 和py 的均值和标准差,如式(5)和式(6)所示:
对比度 I 用来度量图像中存在的局部变化,反应了 图像的清晰度和纹理的沟纹深浅,纹理越清晰反差越大 对比度也就越大,对比度越小纹理越模糊。能量 E 是指 图像中不同灰度级之间的出现频率的平方和,即灰度级 之间的差异越大,能量越高。能量越高,图像的纹理特 征越明显。熵 H 是指图像中不同灰度级之间的出现频 率的信息熵,即灰度级之间的差异越大,熵越高。熵越 高,图像的纹理特征越复杂。相关度 Cov 是指图像中不 同灰度级之间的空间关系,即灰度级之间的相关程度。 相关度越高,图像的纹理特征越规则。
基于上述四种特征量和图像纹理复杂度的关系,得 到计算光电图像空间复杂度的方法如式(7)所示 ：
其中, Cpx 表示图像空间复杂度指标, Cpx 越大,图 像内容越复杂。基于光电视频图像空间复杂度计算结 果,对于光电设备视频编码需要对不同区域采用不同的 编码策略进行编码。
2 基于视频图像区域分块及标号的分级编码策略
在获取到光电视频画面中的鸟类区域以后,传统算 法通常倾向于为鸟类区域分配更多的编码比特,以确保 该区域的视频质量,而背景区域则分配较少的编码比 特。但是这种方法相对粗糙,可能导致解码后鸟类区域 和背景区域之间的过渡较为突兀,不够平滑。本文针对 此问题,在编码之前采取了一系列处理措施,包括对鸟 类区域进行掩膜分块和标号处理。同时,还将鸟类区域 周围的宏块设置为过渡区域,通过这样的方法,可以获 得更加平滑自然的光电视频解码效果。
为了保证光电视频的质量,本文算法将图像分割成三个部分 ：鸟类区域、过渡区域和背景区域。对于鸟类 区域,给它对应的宏块值设为 2 ;而对于过渡区域,宏 块值为 1 ;背景区域的宏块值则为 0.根据各个区域的 重要性,在生成三个区域的掩膜图像时,将分配更多比 特给鸟类区域,以保证该区域视频质量。背景区域所需 的比特数最小,而过渡区域将分配适量的中间比特数目, 以确保鸟类区域和背景区域之间的平滑过渡。如图 1 所 示展示了视频图像分类状态的示意图。
为了避免因分区域编码而导致背景区域和鸟类区域 的编码质量差异过大,进而引起主观质量的下降,本文 引入过渡区域。过渡区域的存在可以平衡鸟类区域和背 景区域之间的编码质量差异。过渡区域的作用在于减缓 界线处的编码质量变化,使观看者感知不到过渡边界的 存在,从而达到与人眼视觉系统对于平滑舒适的高质量 画面的需求一致。这样的处理方式能够有效保持画面的 连贯性,提升视觉效果,进而提高驱鸟效果。
在得到光电图像帧的空间复杂度和划分区域的基础 上,为了实现宏块级别的码率控制,需要对光电视频帧 的鸟类区域、过渡区域和背景区域进行划分,并建立它 们与各自量化步长之间的关系模型,以便为各个区域 提供最佳的 QP 决策和数据分配。传统的视频编码标准 中,量化步长与编码后的视频帧比特数呈反比关系。本 文利用鸟类区域对于帧的占比 P 和量化步长 Qstep 作为 参数,基于传统量化参数 Qstep 与比特数 L 的关系,建立 函数关系式,如式(8)和式(9)所示 ：
式(10) 中 QP 是量化参数,该参数用于确定鸟类 区域、过渡区域和背景区域各区域的量化步长 Qstep。
进行网络通信时,在考虑到视频数据从光电设备发 送端到接收端所需的时间延迟,限制发送端的缓冲区充 盈度,避免数据包的丢失或过多延迟的基础上,最大化 每帧光电图像的加权平均峰值信噪比,来提高每个视频帧的主观质量,具体表示如式(11)所示 ：
3 实验结果与分析
机场智能驱鸟系统采用光电设备对空中鸟群进行捕 捉视频传输,实验采集了光电设备在不同场景下捕捉鸟 类目标的四段视频序列。使用两种方法对所选原始光电 视频序列进行编码,第一种为传统的 H.264 视频编码 方法,第二种为本文所描述的视频编码方法。采用基于 光电视频鸟类区域帧级码率控制优化算法,在保证鸟类 区域编码质量的前提下,尽可能地降低码率,从而有效 减小光电视频大小,节约存储空间,提高传输速度。如 表 1 所示是两种编码方法在不同视频场景下的码率和峰 值信噪比对比结果。
由表 1 可以看出,相比于参考方法,本文方法的整 帧图像的峰值信噪比降低,因为对图像背景区域采用了 较大的量化参数,总体图像质量下降 ;但是鸟类区域的 峰值信噪比有所提升,因为对鸟类区域采用较小的量化 参数,图像鸟类区域质量改善。在码率控制方面,本文方法实际码率更接近于目标码率。实验数据表明,基于 本文视频压缩编码方法可以有效地降低光电视频压缩所 需的码率,同时在保证鸟类区域视频图像分辨率的前提 下,提高了视频压缩传输的速度,保证了智能驱鸟系统 实时性的特点。
如图 2 和图 3 所示分别为本文方法和参考方法在序 列 1 第 30 帧的编码重建图像主观质量对比,从图 2 可 以看出采用本文方法编码后获得的光电视频图像鸟类区 域主观图像质量要高于参考方法,图 2 中鸟类目标的羽 毛颜色、嘴巴和爪子等更为清晰 ;背景区域的蓝天白云 质量虽然不如图 3 所示区域,但是对主观视觉的影响较 小,且对智能驱鸟系统属于不重要区域 ;本文方法在过 渡区域分配适当数量的中间比特数目,使鸟类区域和背 景区域平滑相接。因此从整体效果来看,采用本文方法 有效改善了光电视频图像的视觉感知效果,实现光电视 频压缩效率和鸟类区域质量的最优化。
4 结论
本文针对智能驱鸟系统人机交互中视频监控的实际 需求,提出一种基于光电视频鸟类区域帧级码率控制优 化算法,通过光电设备捕捉被驱离鸟群并对鸟类区域识 别,利用灰度共生矩阵对光电视频场景下图像帧进行空 间复杂度计算 ;采用分级编码策略对于不同区域进行分块和标号处理,通过预测编码、变换编码和量化编码进 行光电视频场景下图像差异性编码,实现光电视频压缩 效率和鸟类区域质量的最优化,满足机场智能驱鸟应用 中视频传输实时性和精确性要求,达到被驱离鸟类目标 特征高分辨率视频快速实时传输。
参考文献
[1] 胡伟东,朱道平,毛焕.基于ROI的多路视频传输码率控制策 略[J].广播电视网络,2021.28(7):97-102.
[2] 李文龙,李兴广,徐晨,等.基于ROI的直播视频传输中码率控 制策略[J].计算机应用与软件,2022.39(12):144-151+226.
[3] AHCEN A,NASREDDINE K,MOUFIDA M,et al.Region- of-interest Based Video Coding Strategy for Rate/Energy- constrained Smart Surveillance Systems Using WMSNs[J]. Ad Hoc Networks,2023:140.
[4] 朱威,王东洋,欧全林,等.基于智能目标检测的HEVC感兴 趣区域编码方法[J].小型微型计算机系统,2019.40(12):2691- 2697.
[5] 朱秀昌,唐贵进.基于学习的视频编码技术进展[J].南京邮电 大学学报(自然科学版),2022.42(2):1-12.
[6] REDMON J,FARHADI A.YOLOv3:An Incremental Improvement[J].arXiv e-prints,2018:4.
[7] LI L,ZHU L,BIN L,ET AL.Pseudo-sequence-based 2-D Hierarchical Coding Structure for Light-Field Image Compression[J].IEEE Journal of Selected Topics in Signal Processing,2017.11(7):1107-1119.
[8] GUANGJIE R,FEIYANG L,HUAIRUI W,et al.Multi- objective Optimization Based Perceptual Bit Allocation for Gaming Video Coding in VVC[J].Signal Processing, 2022:198.
[9] 白云波.H.264宏块级码率控制改进方法[J].电脑编程技巧与 维护,2020(7):19-20+38.
[10] 蒋国道.视频质量检测中模糊和偏色的研究及系统实现[D].北京:北京邮电大学,2021.
[11] 张元东.基于感兴趣区域的高性能视频编码算法优化研究 [D].吉林:东北电力大学,2020.
[12] 刘化毅.基于HI3516的视频ROI压缩编码系统设计[D].抚 顺:辽宁石油化工大学,2021.
[13] 李丽宏,谢东阳,王琳,等.纹理图像多尺度灰度共生矩阵步 长参数的研究[J].河北工程大学学报(自然科学版),2021.38(3): 108-112.
[14] 杨建仁,马晓亮.一种针对监控应用的低复杂度高效视频编 码方法[J].广东通信技术,2021.41(9):44-47.
[15] Advanced Digital Broadcast S.A.;Patent Issued for System And Method For Optimization of Video Bitrate (USPTO 10.791.350)[J].Computer Weekly News,2020.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/68008.html
