SCI论文（www.lunwensci.com）
摘要：通过视觉传感器使机器人与外部环境进行交互的机器人视觉伺服技术， 为机器人的自主感知、自主决策等智能化功能的构 建提供了方案。在传统以上位机为核心的集中式数据处理架构中， 传感器带来快速与高质量图像信息的同时， 海量的图像数据也 对上位机处理数据的实时性和可靠性提出了挑战。综合考虑机器人视觉伺服图像的数据处理传输时易发生拥堵、丢包等缺陷和雾 计算分布式技术的实时优势， 提出了一种基于雾计算的视觉伺服系统图像实时自适应处理架构， 利用传感器将获取到的图像数据 传输到处理节点， 根据不同频率和大小的图像数据算法进行计算资源的自适应分配， 在图像处理单元得到完整的图像数据的情况 下保证完成图像的实时处理。同时利用实验室视觉伺服平台和雾计算节点设计了相关实验方案， 并进行了算法对比验证， 结果显 示在其他条件相同的情况下， 文中算法较传统算法在图像处理效率方面至少能够提高 50%， 表明所提算法架构的有效性。
关键词： 分布式计算,工业机器人,图像处理,自适应算法
Influence of Distributed Algorithm on Visual Servo Image Processing System of Industrial Robot
Fang Yun1. Li Shipeng1. 2. Wang Juan3
( 1. China International Marine Containers (Group) Ltd., Shenzhen, Guangdong 518067. China;
2. School of Mechanical Engineering Zhejiang University, Hangzhou 310058. China;
3. School of Automation Science and Engineering, South China University of Technology, Guangzhou 510641. China)
Abstract: The robot visual servo technology, which enables the robot to interact with the external environment through visual sensors, a solution was provided for the construction of intelligent functions such as autonomous perception and autonomous decision-making of robots . In traditional centralized data processing architecture with the upper computer as the core, while sensor brings fast and high-quality image information, massive image data also challenges the real-time and reliability of data processed by upper computer . the defects were comprehensively considered such as congestion and packet loss in the data processing, transmission of robot visual servo images and the real- time advantages of fog computing distributed technology, a real-time adaptive processing architecture was proposed for visual servo system images based on fog computing. The acquired image data was transmitted to the processing node, and adaptive allocation of computing resources was performed according to the image data algorithm of different frequencies and sizes, then the real-time image processing was ensured when the image processing unit obtains the complete image data . At the same time, the experimental scheme was designed, also the algorithm was compared and verified by using the laboratory visual servo platform and fog computing nodes . The results show that under the same conditions, the algorithm in this paper can improve the image processing efficiency by at least 50%, illustrates the effectiveness of algorithm architecture proposed in this paper.
Key words: distributed computing; industrial robot; image processing; adaptive algorithm
0 引言
近年来， 以高速视频流提供的图像为控制信息的视 觉伺服得到了广泛的研究[1-3]， 一方面通过视觉传感器机 器人可与环境进行更丰富图像交互， 扩展机器人的应用 领域; 另一方面随着工业 4.0 的发展， 小批量、多图像、 可重构的工业制造模型要求机器人具有自主感知、自主 决策等功能， 这也对机器人结合视觉信息的综合能力提出了更高的要求[4. 5]。机器人视觉伺服技术区别于传统的 视觉引导或视觉定位， 以能对高速视频流图像信息做出 实时反馈为特点， 为机器人的应用提供了灵活多变的技 能基元。在伺服图像进行的过程中， 原始的视频流图像 信息并不能直接为机器人指令使用， 需要经过一系列的 图像处理过程， 如分割、锐化、边缘提取等预处理步 骤[3]。在当前的视觉伺服研究概念下， 为保证机器人能够更多地获取有效信息和较大的工作范围， 一般都会采 用大视野的高清工业相机作为视觉传感器， 而高质量的 图像为机器人带来丰富环境信息的同时， 也必定给图像 处理单元带来更高的负载要求， 因此， 能否对高速高清 的目标图像完成实时的视觉伺服处理过程， 是制约以视 觉图像为控制信号的机器人控制系统操作精度和实时性 的关键因素[6. 7]。
目前大多数工业机器人受尺寸、成本、能耗等方面 的影响， 工业机器人的自身资源往往是局限的， 工业机 器人提供的本地计算资源无法满足实时处理信息密集型 图像的需求， 因此为视觉伺服系统提供更强大的图像处 理能力成为解决这一问题的可靠思路。随着计算机技术 的发展， 云计算为工业机器人提供了强大的计算服务， 解决了工业机器人资源受限的难题。然而， 具有远程部 署属性的云服务器无法满足延时敏感任务的实时性要求， 同时增加了通信网络的压力， 导致了更高的网络延时， 无法从根本上解决上述视觉伺服图像中高速视频流图 像处理过程的瓶颈问题， 针对该问题， 一种新型计算资 源 —— “雾计算”被提出[8. 9]。作为云计算的扩展与提 升， 雾计算将云计算服务迁移至网络边缘， 通过在终端 设备或者数据源附近部署一定数量的雾节点进而完成雾 计算平台的搭建。为了实现面向工业机器人的实时、高 效处理目标， 通过雾计算为工业机器人制定有效的解决 方案， 近距离、分布式部署的雾节点弥补了工业机器人 计算资源不足的缺点， 通过在雾节点建立不同的应用模 块、算法， 为工业机器人提供多粒度、多模式计算服务。
本文以改善高清视频流图像实时处理能力为目标， 从“系统架构与模型-算法设计-实验结果验证” 3 个主 要维度对基于雾计算的工业机器人视觉伺服系统图像自 适应实时处理相关技术开展一系列研究， 主要贡献如下：
( 1) 分析了工业机器人视觉伺服系统实时性能限制 要素， 建立起以视觉传感器-雾服务器-控制器-机器人 的基于雾计算的图像处理模型， 充分利用近距离、分布 式的雾计算特点， 提高视觉系统图像处理速度;
( 2) 研究了不同速度和大小视频流情况下对视觉伺 服系统实时性的影响， 在考虑机器人视觉系统实时性的 同时考虑了系统计算资源的合理分配问题， 根据不同的 计算负载要求设计出自适应实时图像处理算法;
( 3) 通过实时的自适应图像处理资源管理， 针对不 同的任务需要自动配置计算负载， 提高了在高速高分辨 率视频流情况下视觉系统的图像处理能力， 从而提高以 图像为控制信号的为机器人控制精度和速度。
1 系统架构与模型设计
视觉伺服系统的实质是根据目标位置与当前位置的 函数误差来计算机器人控制器反馈指令[10]， 基于反馈信号的不同分为基于图像的视觉伺服 IBVS (Image-Based- Visual-Servoing)， 基于位置的视觉伺服 PBVS ( Position- Based-Visual-Servoing)， 以及结合两者特点的混合视觉 伺服 HBVS (Hybrid-Based-Visual-Servoing)。其中 IBVS 的目标函数中所选择的控制信号是纯粹的图像信息， IB ⁃ VS 相比于 PBVS 控制结构更为简单， 只需要对图像信息 进行比较而不需要进行三维重构， 其对环境噪声也有更 高的鲁棒性[11]， 因此基于图像的视觉伺服系统架构也得 到了更多研究者的关注[13.14]， 其基本结构如图 1 所示。
觉伺服系统主要通过上位机进行处理， 无论当前需要处 理图像的大小和频率如何， 在完成一个视觉系统的配置 后， 在该视觉系统进行的所有计算图像均由此单一设备 节点完成， 不能根据图像的需求进行灵活布置， 这样的 资源分配机制有着较大的随机性， 不能保证系统能够得 到足够的计算需求。针对这一问题， 本文设计了如图 2 所示的基于雾计算的视觉伺服实时图像自适应处理控制 模型。
在图 2 中， 视觉传感器针对不同的工作环境获取到 不同帧率和不同大小的目标图像， 雾服务器会根据目标 图像的大小和帧率， 结合图像算法所需提取的特征值计 算出各情况下所必须的图像负载， 并自动分配硬件资源， 在保证满足计算要求的情况下完成机器人控制器基于视 觉信息的指令。这种基于雾计算的视觉伺服图像自适应 处理模型可以实时完成系统的图像处理图像[15]， 能够很好 的适应不同的应用环境，尤其针对多视觉信息来源或多控 制图像的视觉伺服系统， 以及工作环境复杂的视觉图像。 以下根据上述图像需求进行实时资源分配算法的设计。
根据基于雾计算的视觉伺服实时图像自适应处理控 制模型建立系统模型， 系统模型中部署了多台工业机器人 和 多 个 雾 节 点 。
F 表 示 雾 节 点 集 合 ， F ={F1 , F2 , …, Fn , …, FN }， 雾节点 Fn 的计算能力记为 Cn; I 表 示一个图像集合， I = {I1 , I2 , …, Im , …, IM }， 图像 Im 的属性可模型化为三元组 (Cm , Tm, max ); Cm 表示图像 Im 需要的计 算资源量， Tm, max 表示图像 Im 的最大容忍时间。由计算资 源选择系统模型得知， 每个图像可以从 N 个雾节点中选 择一个雾节点来完成处理。对于图像 Im， 其在雾节点 Fn 下的时延记为 Tnm、能耗记为 Enm。
计算资源选择策略的优化目标为最小化图像处理时 延， 目标函数如式 (2) 所示：
Etotal =anm Enm
Fobject = min {max {anm Tnm }, Etotal }
1) an m ∈ {0. 1} n = 1. 2. …, N
2) an m = 1 m = 1. 2. …, M
3) an m Cm ≤ Cn n = 1. 2. …, N
4) Tm ≤ Tm, max m = 1. 2. …, M
其中，“1) ”和“2) ”为计算资源选择决策变量约 束条件， 即每个图像只能选择一个计算资源，“3) ”为 每个计算资源的约束条件，“4) ”为每个图像的时延约 束条件。
2 基于图像计算容量的自适应雾计算节点选择算法设计
在本部分内容中， 通过在雾服务器中设计计算资源 选择模块实现自适应计算资源选择。对于每个图像来说， 存在多个计算资源可供选择， 每个计算资源具有不同的 性能与优势。在雾计算平台中， 异构图像通过选择不同 的计算资源来完成处理。然而， 图像的复杂度、实时性 需求给计算资源选择带来了挑战。计算资源选择是实施 雾计算的关键， 也是实现图像高实时、高能效、高可靠 处理的有效途径[16.17]。通过自适应计算资源选择算法为 异构图像制定最优的计算资源选择方案， 从而满足视觉 伺服任务的高实时、高能效、高可靠性能需求。自适应 计算资源选择策略的主要功能是在现有计算资源条件下， 为当前需要处理的图像制定最优的计算资源选择方案， 从而实现图像高实时、高能效、高可靠处理的目标。本 文所提出的自适应计算资源选择过程示意图如图 3 所示。
图 3 展示了自适应计算资源选择的详细流程， 描述 如下： (1) 当图像传感器获取到系列图像时， 图像处理 模块发送计算资源选择服务请求到雾服务器以获取选择 策略; ( 2) 图像处理模块接收到来自雾服务器的计算资 源选择服务响应后， 会发送图像相关信息到雾服务器， 包括图像大小、采集频率以及实时性要求; ( 3 ) 雾节点 向雾服务器发送各自的相关信息， 其中包括工作状态、 可用计算资源等; ( 4) 在雾服务器中运行计算资源选择 算法， 为所有的图像制定最优的计算资源选择方案， 得 到每个图像的计算资源选择集合 Φ， Φ 表示图像的计算 资源选择集合; ( 5) 在图像处理单元收到计算资源选择 集合 Φ 后， 根据 Φ 将不同的图像发送至相应的计算资源 上; ( 6 ) 雾节点在接收到图像参数后执行一系列操作， 最后将图像处理结果发送至原工业机器人。
根据自适应计算资源选择问题， 为了有效地取得全 局最优解， 本文将遗传算法 GA (Genetic Algorithm) 应 用在自适应计算资源选择问题求解中， 提出了一种基于GA 的自适应计算资源选择算法， 该算法可根据雾计算资 源为异构图像制定最优的计算资源选择方案， 以达到实 现优化目标的目的， 基于 GA 的自适应计算资源选择算 法如表 1 所述。
3 实验结果分析
本部分内容是针对上述算法理念的验证， 即基于雾 计算的视觉伺服实时自适应控制系统对传统控制方法的 下机器人控制性能的影响。视觉伺服平台如图 4 所示， 其中机器人为 Franka Emika， 内部通讯周期为 1 ms; 图 像传感器为 Basler Ac-640. 分别设定传感器图像采集频 率为 30 Hz 、50 Hz 、80 Hz 、100 Hz 、120 Hz， 图像分辨 率 大 小 分 别 为 640×480. 800×600. 1 024×768. 1 280× 960. 1 600×1 200.
首先利用传统图像处理方法对图像进行处理， 对不 同分辨率和不同采集频率的图像分别进行 100 次左右的采样计算， 对比方法在单位时间内 (以 s 为单位) 不同 频率和不同分辨率情况下处理结果如表 2 所示。如“46- 49”类型数据表示每秒可处理数量， 反应了视觉系统每 秒最多迭代周期次数。
从表中可以看出在固定计算负载时， 视觉系统只有 在低传感器频率， 低分辨率的情况下才能够实时完成图 像处理过程， 在采集频率增加 (大于 50 Hz)， 或图像分 辨率增大 (大于 1 024×768) 时会开始出现严重的计算时 延， 造成计算任务不能顺利完成， 如在 120 Hz 采集频率 1 600×1 200 分辨的时候只能完成目标数量的 10%， 将会 导致视觉伺服任务的失败。这样的计算控制系统只能以 低分辨率低频率的传感器作为系统图像采集单元， 这显 然不能满足视觉伺服对机器人高精度高速度的控制目标 要求。
图 5 为选取表 2 中 1 组具有代表性数据， 原始实验 数据绘制的单位时间内图像处理数量变化折线图， 横 坐标为不同的相机采样频率， 纵坐标为单位时间内系 统可处理图像数量， 图中例如“640×480”的表示为图 像分辨率。从图中可以看出图像采集频率越高， 图像 分辨越大， 单位时间系统能处理的图像数量越少， 这 直接限制了视觉伺服系统的性能， 可得到与表中相同 的结论。
本文利用基于雾计算的实时自适应控制系统再次对 视觉伺服系统进行测试， 单位时间内系统能够处理的不 同频率和不同分辨率下的图像数量如下表所示， 从表 3 中可以看出该自适应控制系统能够实时的调整系统计算 资源， 提高系统对高分辨率高采集频率图像传感单元的处理能力， 根据前言部分的介绍， 该方法能够提高视觉 伺服系统的实时性和精度， 验证了本文观点。
图 6 为根据表 3 中1 组具有代表性的原始数据绘制的 单位时间内图像处理数量变化折线图， 从图 6 种可以看 出， 在本文提出的基于雾计算的自适应图像处理算法的 帮助下， 视觉伺服系统能够较大的幅度的提高单位时间 内对高分辨率和高频率图像的处理能力， 即对视觉伺服 系统的控制精度和实时性都有明显的促进作用， 验证了 摘要中本文的观点。
4 结束语
在机器人本身的控制性能趋于成熟的情况下， 对以 视觉信号为控制指令的视觉伺服系统一个研究关键任务 即实时目标图像的提取。高速高清的图像信息给能给机 器人系统带来丰富的环境信息， 有利于人、机、环境的 三方交互， 是未来发展的一个重要方向; 而一个包含有 丰富目标信息的图像, 同时也包含了丰富的与目标无关的 信息， 为提高控制的实时性， 有必要最大程度提高单位 时间内图像的刷新频率， 这些因素直接关系着机械臂末 端控制的精度和实时性， 因此在不考虑图像本身预处理 算法的情况下首先需要解决的问题即系统大量计算任务 的负载问题。本文根据分布式雾计算实时计算的能力优 势， 并结合机器人视觉伺服系统的特点设计了基于雾计 算的视觉伺服图像实时自适应处理系统， 使机器人视觉 伺服系统不仅对普通信号源的图像信息能够快速处理， 同时对高频率高清度的视频流能够根据目标需要进行资 源分配， 在一定程度上实现了机器人高速高精的视觉控 制目标。
传统的视觉伺服系统一般只配备一台上位机作为图 像处理单元， 随着高清高速视频流对图像处理单元计算 负载要求的提升， 这以思路从本质上限制了机器人的控 制效果。另外， 根据作者长期对机器人视觉伺服系统的 研究发现， 越来越多的研究者将云计算、雾计算以及边 缘计算等方法于传统的机器人控制结合， 从图像处理本 身之外寻找更有效的方法提高机器人视觉系统性能指标 的同时， 实现有限计算资源的合理分配， 这将是会机器 人视觉伺服系统未来发展的趋势。
参考文献：
[1] H Shi, G Sun, Y Wang, et al. Adaptive Image-Based Visual Ser⁃ voing With Temporary Loss of the Visual Signal[J]. IEEE Trans ⁃ actions on Industrial Informatics, 2019.15(4):1956- 1965.
[2] 孙蓉,郑慧慧, 刘景伟 . 雾网络中在线缓存方案设计[J]. 西安电 子科技大学学报,2022.49(02):36-41.DOI:10. 19665/j.issn1001- 2400.2022.02.005.
[3] 李兴和, 陈汕,谭泽华,等 . 工业机器人用传动齿轮设计研究[J]. 机电工程技术,2021.50(02):33-36.
[4] S Li, D Li, C Zhang, et al. RGB-D Image Processing Algorithm for Target Recognition and Pose Estimation of Visual Servo Sys ⁃ tem[J]. Sensors,2020. 20(2):430. 2020.
[5] J Wan, S Tang, Q Hua, et al.Context-aware cloud robotics for ma⁃ terial handling in cognitive industrial Internet of Things[J]. IEEE Internet of Things Journal, 2017.5(4): 2272-2281.
[6] 罗永超, 李石朋, 李迪 . 基于图像的无标定机器人视觉伺服的 研究[J]. 制造业自动化,2020.42(11):148- 151.
[7] T bo, G zeyu, D han. Research progress of robot calibration-free visual servo control[J]. Chinese Journal of Theoretical and Ap ⁃ plied Mechanics, 2016.48(4):767-783. 2016.
[8] 梁锦麟, 陈映璇 . 基于工业机器人的视觉分拣曲轴系统开发应 用[J]. 机电工程技术,2019.48(06):182- 183.
[9] J Wang , D Li. Adaptive computing optimization in software-de ⁃ fined network-based industrial Internet of Things with fog com ⁃ puting[J]. Sensors, 2018.18(8):2509.
[10] 王娟 . 面向智能制造的雾计算关键技术研究[D]. 广州:华南 理工大学,2019.
[11] F Chaumette , S Hutchinson. Visual servo control. I. Basic ap⁃ proaches[J]. IEEE Robotics & Automation Magazine, 2006. 13 (4):82-90.
[12] N Mansard, F Chaumette. Tasks sequencing for visual servoing [J]. in 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)(IEEE Cat. No. 04CH37566), 2004. 1: 992-997.
[13] 沈国锋,周明拓,李剑,等 . 雾计算使能的移动机器人编队跟随 研究与设计[J]. 中国科学院大学学报,2021.38(04):557-566.
[14] 陈雷 . 雾计算网络中基于移动感知的任务卸载和资源分配
[J]. 武 汉 大 学 学 报 ( 理 学 版), 2022. 68(03): 335-346. DOI: 10. 14188/j. 1671-8836.2021.0063.
[15] 李炫锋, 罗喜良 . 雾计算网络中计算节点的最优布局[J]. 中国 科学院大学学报,2022.39(02):260-266.
[16] 任磊, 贾子翟,赖李媛君,等 . 数据驱动的工业智能:现状与展 望 [J]. 计 算 机 集 成 制 造 系 统 , 2022. 28(07): 1913- 1939. DOI: 10. 13196/j.cims.2022.07.001.
[17] 任君玉,祝长鸿,廖栋森,等 . 雾计算辅助的无线体域网任务卸 载方法[J]. 计算机工程与应用,2021.57(16):108- 115.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/57664.html
