基于正射影像图的航空光电载荷成像仿真技术*论文

SCI论文（www.lunwensci.com）
 
　　摘要 ：航空光电载荷在专业领域中的作用越来越重要， 其结构与功能越来越复杂， 造价也愈加昂贵， 相关仿真技术的研究越来越 迫切 。介绍了航空光电载荷的结构组成 、 系统功能和工作原理以及现有仿真技术的不足 。针对图像制导仿真系统中最关键也最迫 切需要的环节——光电载荷成像仿真， 基于正射影像图， 结合了飞行力学坐标系统与光电载荷坐标系统， 通过构建中间环节的数 学模型， 分析不同坐标系下的姿态转换关系， 采用与实际情况一致的光电载荷系统架构， 通过对成像过程的分析完成了成像区域 的判断与确定， 并且利用反解法完成了对成像区域像点的处理， 从而完成了航空光电载荷的成像仿真 。联合仿真验证了所提仿真 系统的正确性与严谨性， 在大型制导仿真系统中起到了重要作用。

　　( 1. Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033. China;

　　2. University of Chinese Academy of Sciences, Beijing 100084. China)

　　Abstract: In professional fields of modern military, the role of airborne optoelectronic payload is more and more important, its structure and function are more and more complex, the cost is more and more expensive, and the research of relevant simulation technology is more and more urgent. The structure composition, system function and working principle of airborne optoelectronic payload as well as the deficiency of existing simulation technology are introduced. Aiming at one of the most critical and urgently needed links in the image guidance simulation system — airborne optoelectronic payload imaging simulation, based on orthophoto and combining the flight mechanics coordinate system and optoelectronic payload coordinate system, the mathematical model of the intermediate link was built to analyze the attitude transformation relationship in different coordinate systems, and the optoelectronic payload system architecture consistent with the actual situation was adopted. Through the analysis of the imaging process, the imaging region is judged and determined, and the inverse method is used to complete the processing of pixels in the imaging region, so as to complete the imaging simulation of airborne optoelectronic payload . The co- simulation verifies the correctness and rigor of the simulation system , which plays an important role in the large-scale guidance simulation system.

　　Key words: airborne optoelectronic payload; orthophoto; attitude transformation; imaging region; inverse method

　　0 引言

　　无人航空飞行器在专业领域和日常生活中的应用越 来越广泛， 光电载荷是无人航空飞行器上最基本并且最 重要的任务执行单元[ 1-3] 。随着光电载荷的功能与要求越 来越高， 光电载荷也成为了造价最高的单元[4-6] 。美国 MQ- 1“捕食者”多用途无人机中的 MTSA 光电载荷几乎 和无人机平台本身的价格一样， RQ-4“全球鹰”无人机 BLOCK20 综合传感器系统造价占总成本比例的 54%[7-8]。 光电载荷仿真技术是降低相关系统研制费用的最有效手 段之一。

　　随着现代航空设备竞争的日益激烈与图像匹配技术的突飞猛进， 图像制导的作用越来越关键[9]， 尤其 对末端定位起到了决定性作用 。 图像匹配算法需要通 过大量的飞行制导过程进行训练 、修正与验证， 如果 在实际场景进行此项训练， 费用与代价是不可承受的 。 所以， 用仿真代替实际场景训练成为了必要选项 。近 年来虽然仿真技术进步较大， 但是针对航空光电载荷 成像的仿真研究基本停留在图像成像本身， 而随着需 求的加深与全面展开， 迫切需要根据现实场景的各个 环节建立严谨的数学模型 。现有的光电载荷仿真技术 基本都是以已有的视景仿真软件为基础， 构造场景中 的模型， 然后进行摆放， 通过视景仿真软件的虚拟镜头成像 。这样做的缺点有两个： ( 1) 构造模型的代价 极大， 在实际仿真中几乎无法完成， 单独构造一两个 场景模型的局限性也很大; ( 2) 相机成像过程的数学 模型受制于视景仿真软件， 无法根据实际光电载荷参 数以及构造情况进行修改 。

　　本文基于以上当前航空光电载荷成像仿真系统的不足， 根据图像制导的需要， 考虑了坐标系统变换和成像 空间几何模型， 提出了基于基准正射图像进行航空载荷 成像系统仿真的方法并加以验证。

　　1 航空光电载荷系统

　　1.1 航空光电载荷系统组成

　　如图 1所示， 航空光电载荷一般安装在飞行器机体 下方， 在其飞行过程中获得目标图像， 通过传输链路传 递给数据处理系统[9-10] 。航空光电载荷由减震器 、惯性 测量单元 、偏航轴 、激光测距仪 、可见光相机 、热像仪、 俯仰轴等部分组成 。偏航轴与俯仰轴组成稳定平台， 负 责控制相机的拍摄方向， 偏航轴与俯仰轴系统包含编码 器， 可以输出当前相机的姿态[11]。

　　1.2 坐标系统的建立

　　1.2.1 地面坐标系 G ( Og-XgYgZg )

　　地面坐标系 G ( Og-XgYgZg ) 的原点 Og 定为地面 ( 一 般为无人机初始位置); Xg 轴为水平面某方向， Zg 轴垂直 指向地心; Yg 轴也在水平面内， 垂直于 Xg 轴， 其指向按 照右手定则确定[12-13]。

　　1.2.2 载机地理坐标系 K ( Ok-XkYkZk )

　　载机地理坐标系又称导航坐标系， 有两种表示方式： 北东地或者东北天 。本文采用北东地坐标系， 坐标系的 原点位于载机质心; Xk 轴指向正北方向; Yk 轴指向正东 方向; Zk轴指向垂直向下。

　　1.2.3 载机坐标系 B ( Ob-XbYbZb )

　　载机坐标系固定在载机上， 用于确定载机的姿态信 息 。坐标系的原点位于载机质心; Xk 轴在飞机对称平面 内并平行于飞机的设计轴线指向机头; Yk 轴垂直于飞机对称平面指向机身右方; Zk 轴在飞机对称平面内与 Xk 轴 垂直并指向机身下方。

　　1.2.4 成像坐标系 P ( Op-XpYpZp )

　　成像坐标系 P ( Op-XpYpZp ) 的原点位于偏航轴和俯 仰轴的旋转中心 。Zp 轴为成像系统的视线方向， 当成像 系统向正前方观察时， Zp 轴指向正前方; Xp 轴指向为垂 直向上; Yp 轴指向为右侧， 构成右手直角坐标系 。成像 系统安装于光电载荷最内侧的框架上; 外框架绕 p(Z)轴 (偏航轴) 旋转， 形成的转角称为偏航角用 ψp 表示， 向 右为正; 内框架绕 Yp 轴 (俯仰轴) 旋转， 形成的转角称 为俯仰角用 p(θ)表示， 向上为正 。当成像系统向正前方即 机体轴 Xb成正方向观察时， ψp 为 0. p(θ)为 0[14]。

　　2 仿真系统设计

　　仿真系统设计部分工作是光电载荷成像仿真系统研 究的核心任务 。主要包括： 成像系统视线方向求取 、成 像区域的确定 、成像区域像点处理等。

　　2.1 成像系统视线方向求取

　　在飞行力学或者光电载荷设备中习惯用欧拉角描述 系统的空间姿态， 在 3D仿真学中用前向向量与头顶向量 来描述[15] 。获取成像系统姿态以确定地面的成像区域， 从而对各点的像素信息进行处理。

　　航空载荷空间成像关系如图 2所示 。相机模型采用 针孔模型[16] 。图中前向向量OP即为成像系统视线方向亦 即 p(X)轴， 头顶向量OQ为 Zp轴负方向。

　　2.2 成像区域的确定

　　当成像系统视线方向垂直向下时， 成像区域为与感 光元件形状相似的矩形区域; 当成像系统视线方向不垂 直向下时， 成像区域为梯形区域; 如果考虑最一般的情 况， 成像系统视线方向不垂直向下， 且成像系统偏航角 与滚转角不为 0. 那么成像区域应该为凸四边形 。所以 成像区域的确定需要逐个计算图 2 中的锥体的棱边与地 面的交点。

　　通过感光元件的尺寸数据以及向量OP可以计算得 到地面坐标系下 A、B、C、D4个点的坐标为 A ( x1. y1. z1 )、 B ( x2. y2. z2 )、 C ( x3. y3. z3 )、 D ( x4. y4. z4 )， 结合 O点坐标 ( x0. y0. z0 )， 利用空间直线与平面交点 方程即可以解得图 2 中 E、F、G、H 点在地面坐标系下的 坐标。

　　2.3 成像区域像点处理

　　成像区域像点处理单元的主要任务是实现 2 个二维 图像之间的几何变换， 所以必须要确定 2 个图像之间的 几何关系 。这也正是成像系统视线方向求取单元与成像 区域确定单元的重要目的 。已知二者之间的几何关系后， 一般有 2种方法可以用来完成将像点由原始图像映射至 成像图片的， 分别为正解法和反解法[ 17] 。正解法是由原 始图像上的像点坐标出发， 解求出变换后的图像上的相 应像点坐标， 并将像素信息赋给相应像点; 反解法则相 反， 从变换后的图像的像点坐标出发， 解算出其对应的 原始图像中的像点位置信息， 并内插出像素信息。

　　正解法存在很大的缺陷， 在变换后的图像上所得到 的像点是非规则排列的， 有的像元素内可能出现空白 (即无像素信息)， 而有的可能出现重复， 所以很难实现 变换后的图像的像素信息内插并获得规则排列的图像 。 基于正解法上述无法弥补的缺陷， 本文选择反解法来对 成像区域像点进行处理

　　本文使用的反解法是将原始像片与成像像片进行对 应处理， 与传统的摄影测量学反解法略有不同， 具体计 算过程如下。

　　( 1 ) 使用遍历法依顺序从像片左上至右下在成像像 片上选取一点， 确定其坐标;

　　( 2 ) 根据图 2 中的几何对应以及像点的共线关系， 反算得到对应在原始图片上的点的坐标;

　　( 3 ) 由于第 ( 2 ) 步中所求得的像点坐标不一定正好 落在原始图片的某一像点上， 所以这个点的像素信息不 能直接读出， 需要通过双线性内插获得;

　　( 4 ) 将得到的像素信息赋给成像像片上对应的像点。

         3 平台仿真效果与分析

         设计的仿真平台在普通计算机上实现， 操作系统为 Windows 10. 编译环境为 Visual Studio 2017 。 主要实现 了根据给定的载机 、外框架 、内框架的姿态以及载机位 置仿真光电载荷成像的功能 。平台仿真得到的图像被应 用在图像制导仿真中， 取得了预期的仿真效果。

　　3.1 仅俯仰轴运动的情况

　　以俯仰轴做-70 °偏转为例来研究仅俯仰轴运动的情况， 当仅有俯仰轴运动时成像系统的偏航角与滚转角都 为 0 ° 。图 4 (a) 为仿真的基准正射影像图， 蓝色框为成 像区域 。 由于该次的仿真情况是成像系统视线方向在地 面坐标系中的姿态角为俯仰角-70 ° 、偏航角 0 ° 、滚转角 0 °， 所以成像区域应该为等腰梯形， 可以看到图中蓝色 框为等腰梯形， 且上下边中点连线与地图纵向平行， 符 合偏航角为 0 °设定。

　　图 4 (b) 为仿真获取的像片， 从成像图中可以看 到蓝色边缘， 证明了成像区域与图 4 (a) 的对应关系， 仔细观察图中各个区域也可以与图 4 (a) 中蓝色框内 区域各处对应上 。 图 4 (a) 中的蓝色框的区域成像处 理前为等腰梯形， 经过反解法处理后， 成为图 4 (b) 的矩形。

　　3.2 俯仰轴、偏航轴运动的情况

　　俯仰轴 、偏航轴都有运动的情况相对仅有俯仰轴运 动的情况会更加复杂些 。如图 5 (a) 所示， 成像区域为 位置有侧偏的等腰梯形， 这与前面分析的预期结果一致。 在图 5 (b) 中可以看到图中用于标记的四边形向右旋 转， 这也是在对成像区域内元素进行反解法处理后的结 果， 与预期判断一致。

　　4 结束语

　　本文根据图像制导系统的研究需求， 利用 OpenCV 与 Visual Studio 开发工具， 针对传统仿真系统建模任务 量过于庞大无法在实际科学研究中真正推广使用的缺点， 提出了基于基准正射图像进行航空载荷成像系统仿真的 方法 。该方法综合考虑了航空飞行力学 、摄影测量学的 坐标体系， 建立了更为通用的坐标系统， 同时分析研究 了相机成像空间几何模型， 完成了从基准正射图像到成 像像片的仿真过程 。实现了航空光电载荷成像仿真系统， 同时， 可以根据实际情况将该系统移植到其他仿真系统 中 。仿真结果表明， 仿真系统功能强大， 实用性强， 完 全满足研制需求， 具有重要的工程应用价值 。 由于在仿 真过程中， 需要进行大量的矩阵运算以及像点处理， 所 以目前航空光电载荷成像仿真系统的实时性有待进一步 提升， 这也是下一步要重点研究的问题。

　　参考文献：

　　[1] 张进 . 无人机载光电红外载荷的现状和发展[J]. 飞航导弹 , 2008. 4: 34-38.
　　[2] MILLER R, AMIDI O, DELOUIS M. Arctic test flights of the CMU autonomous helicopter[C]// Proceedings of the 1999 26th International Annual Symposium on Association for Unmanned Vehicle Systems, Baltimore, MD. New York: IASUAS, 1999.
　　[3] BAKER S, SCHARSTEIN D, LEWIS J P, et al. A Database and evaluation methodology for optical flow[C]// Eleventh IEEE Inter‐national Conference on Computer Vision, Rio de Janeiro, Brazil, 2007. New York: IEEE, 2007.
　　[4] 贾平, 张葆 . 航空光电侦察平台关键技术及其发展[J]. 光学精 密工程, 2003. 11(2): 82-88.
　　[5] 李富栋 . 机载红外搜索与跟踪系统的现状与发展[J]. 激光与 红外, 2008. 38(3): 409-412.
　　[6] 朱耘, 韩根甲 . 无人机光电探测技术的现状及发展趋势[J]. 舰 船科学技术, 2004. 26(6): 1-5.
　　[7] 张若岚, 陈洁 . 从 UAV 到UAS— 无人机系统及光电载荷发展 的思考[J]. 红外技术, 2014(8): 601-608.
　　[8] 李保中, 韩邦杰, 李艳晓 . 光电系统半实物仿真系统技术概述 [J]. 电光与控制, 2010(4): 30-33.
　　[9] 麻丽明, 王贵丽, 周燕等 . 基于无人机航测像控点布设与空三 测量精度关系的研究[J]. 机电工程技术, 2022. 51(7): 68-70.
　　[10] 孙辉 . 机载光电载荷对地目标定位技术研究[D]. 北京: 中国 科学院大学, 2022.
　　[11] 王宣 . 机载光电平台稳定跟踪系统关键技术研究[D]. 北京 : 中国科学院大学, 2017.
　　[12] 李全超 . 基于万向节的机载高精度光电平台机构研究[D]. 北 京: 中国科学院大学, 2022.
　　[13] 吴森堂, 费玉华 . 飞行控制系统[M]. 北京 : 北京航空航天大 学出版社, 2005.
　　[14] 文传源 . 现代飞行控制[M]. 北京: 北京航空航天大学出版社,2004.
　　[15] 鲍文亮, 黄显林, 卢鸿谦 . 多框架光电平台动力学建模及耦 合分析[J]. 哈尔滨工程大学学报, 2009. 30(8): 893-897.
　　[16] LUNA F D. DirectX 9. 0 3D 游戏开发编程基础[M]. 北京 : 清 华大学出版社, 2007.
　　[17] KAEHLER A, BRADSKI G. 学习 OpenCV 3[M]. 北京 : 清华大 学出版社, 2018.
　　[18] 王佩军 , 徐亚明 . 摄影测量学[M]. 武汉 : 武汉大学出版社 ,2019.
 
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/60960.html