SCI论文（www.lunwensci.com）
摘要：针对中小型水域垃圾清理作业困难，人工成本较高的问题，提出了基于视觉的水面垃圾清理机器人垃圾检测、定位、路径规划方法。首先，基于Halcon软件对含有水面垃圾的原始图像进行图像分割和边缘检测，实现目标物在原始图像中的二维坐标；接着，通过双目摄像头为垃圾清理机器人提供实际位置的空间坐标信息，再运用蚁群算法进行路径规划，优先选择最短路径，规划水面垃圾清理机器人清理目标垃圾的运行轨迹，以提高清理效率；最后将目标定位和路径规划结果融合，实现水面垃圾清理机器人的自主运行，达到垃圾清理的功能。实验结果表明所提方法能够较好地克服水面复杂环境影响，机器人运行效果较好，有利于提高水环境的卫生水平，具有重要的实际意义和应用价值。
关键词：水面垃圾清理机器人；Halcon；图像分割和边缘检测；路径规划
Research on Target Location and Path Planning Method of Surface Garbage Cleaning Robot Based on Halcon
Song Lüming1，Liu Mingqin2，Mao Zhongguo2，Chen Yuelin2，Liu Licheng2
（1.School of Ocean Engineering,Jiangsu Ocean University,Lianyungang,Jiangsu 222000,China;2.School of Mechanical Engineering,Jiangsu Ocean University,Lianyungang,Jiangsu 222000,China）
Abstract:Aiming at the problems of difficulty and high labor cost of garbage cleaning in small and medium-sized waters,this paper proposes a method of garbage detection,positioning and path planning of water surface garbage cleaning robot based on vision.Firstly,image segmentation and edge detection of original image containing water garbage are carried out based on Halcon software to acquire the two-dimensional coordinates of the target object in the original image.Then,binocular camera is used to provide the spatial coordinate of the actual location of the target for the garbage cleaning robot,and then the ant colony algorithm is used for path planning.The shortest path is optimized first,and the route for the robot is planned to clean the target garbage,so as to improve the cleaning efficiency.Finally,the target positioning and path planning results are integrated to realize the autonomous operation of the robot and achieve the function of garbage cleaning.The experimental results show that the proposed method can overcome the influence of complex water surface environment and achieve good results.It is benefitial to the improvement of the sanitation level of water environment,and has important practical significance and application value.
Key words:surface garbage cleaning robot;Halcon;image segmentation and edge detection;path planning
0引言
随着社会的发展，水面垃圾污染问题越来越突出，对海洋生态环境和人类健康造成了极大的威胁。采用手动清理的方法进行水面垃圾清理存在效率低、危险性高等问题。因此，当前国内水域的垃圾清理的研究和实践中，基于Halcon的双目视觉水面垃圾漂浮物的识别及跟踪技术对于全自主的水面垃圾漂浮物的无人打捞技术的实现是至关重要的，其研究成果可以大大提高水域中垃圾打捞效率，降低人工成本。
基于Halcon的双目视觉在不同领域都有着不同的应用，本文主要集中在自主导航中的目标定位和路径规划上。由于在单目相机的条件下，获取的图像缺乏深度信息，在确定目标的具体位置时会存在一定的位置偏差[1-2]，所以本文采用双目摄像头进行图片的采集。另外在路径的规划上，本文考虑需选择具有一定的稳定性、准确性和一定实时性的算法，所以在路径规划上使用了蚁群算法[3]。首先，利用Halcon图像处理软件对水面垃圾进行目标检测与定位。通过对图像的处理，提取出水面垃圾的特征，进而实现对垃圾目标的准确定位。其次，利用双目相机进行目标信息的定位。接着，本文将提出一种适用于水面垃圾清理机器人的路径规划算法。考虑到水面环境的特殊性，机器人在清理过程中可能会遇到一些障碍物，因此本文将研究一种能够自适应规划路径的算法，使机器人能够顺利完成清理任务。最后，本文将设计并搭建一套基于Halcon的水面垃圾清理机器人系统，并在实际水面环境中进行测试。预计该系统能够实现高效、智能、安全的水面垃圾清理，有效减少人工清理的工作量。
1视觉目标检测
由于Halcon软件支持不同的操作平台，具有丰富的视觉处理算子，包含了一套交互式的程序设计界面，同时Halcon软件设计人机接口时没有特别的限制，自带可视化组件，所以本文在视觉目标的检测上使用Halcon软件对双目摄像头捕获图像进行处理。
在Halcon中，摄像机标定过程就是确定摄像机的几何和光学参数。也是经典的小孔成像模型，一种理想条件下的线性成像模型。但实际由于镜头的畸变的存在，无法准确表述拍摄图像中的几何关系[4-5]，如图1所示。
图1（a）给出了Halcon软件初始捕获双目相机的画面，在上下左右4个角出现了一定的畸变，本文采用如下步骤进行图像校正：
（1）通过Halcon中gen_caltab算子生成pt描述文件并通过find_calib_object算子查找标定板[6]；
（2）通过Halcon中自带的畸形标定助手，输入单个像元的宽和高以及相机的焦距进行标定，随机拍摄20张左右的图像并设置参考位置，最终得到相机的内外参数；
（3）用change_radial_distortion_cam_par算子[7]通过adaptive自适应算法与步骤（2）过程得到的相机内外参数对相机进行径向畸变的矫正，最终得到图1（b）的较好的校正后图像。
2目标物识别
目前国内大多数视觉传感器输出的都是基于RGB颜色通道的空间图像，但研究指出，RGB单通道之间关联度高，不适合彩色图像的分割。相对于RGB空间，HSV空间能够非常直观地表达色彩的明暗、色调，以及鲜艳程度[8-9]，更加方便目标物体与水面间的颜色对比。
在水域内，不同的垃圾在体积、颜色、形状等方面具有不同的特征，所以在运用Halcon软件对不同的垃圾进行识别时可以根据所要识别的具体垃圾的种类进行特定的算法识别，对不同类别的垃圾在其颜色、纹理、形态等方面进行提取后通过其不同的形状、体积、矩形度、圆度[10]等对其进行约束最终得到想要的目标垃圾。
矿泉水瓶为水面上常见的垃圾之一，本文以矿泉水瓶为例讲述目标物检测方法。本文利用Halcon软件根据所要识别的具体垃圾的种类进行特定的算法识别，其过程如图2所示，这里使用体积与矩形度为特征对目标识别，具体过程如下。
（1）首先将图2（a）水面矿泉水瓶原图采用Halcon中decompose3与trans_from_rgb算子将目标图像颜色转换到HSV空间得到图2（b）~（d）3幅HSV图像。
（2）选择图2（b）~（d）中对比度最高的图2（c）饱和度Saturation图像进行后续的处理。由于水面环境中，水面垃圾多为不透明的水面漂浮物，所以本文对饱和度Saturation图像使用阈值分割以快速高效地获得水面垃圾的region，并利用scale_image算子[11]通过向式（1）、式（2）输入VMult，VAdd值，其中VGMax，VGMin分别为所需确认需要得到的图像的灰度值范围，实现图像集的灰度值归一化，达到对图像增强处理以得到图2（e）。
（3）通过阈值分割获得图2（f）所检测目标的区域。
（4）由于目标区域存在不同大小与形状的干扰re⁃gion，所以接下来对目标区域运用opening_rectangle1和closing_rectangle1算子进行开闭运算以进一步筛选目标物得到图2（g）较少干扰的region；
（5）再通过面积以及矩形度对区域进行筛选以彻底去除小面积物体的和大面积物体的干扰，并最终得到图2（h）所检测的目标物体，并将其如图2（i）画在原图上，通过亚像素计算其中点坐标，并返回其中心点坐标。（6）由于Halcon软件支持不同程序间转换，最后将写好的Halcon算法转成C#，C++等不同程序以供后续调用。
3目标定位
目前市面上主流的测量方法为超声波测距、激光测距、单目摄像头测距、双目摄像头测距4大类，虽然超声波测距[12]是最为简单的一种，但是发射角度较大，高频超声波近距离的有7°~8°。低频率远距离测量的角度有20°~30°。单目摄像头测距虽然简单但失误较大。激光测距作为近年来逐渐普及的高端测量技术，能很好地克服传统使用接近开关进行测距定位的局限性[13-14]，但是容易受到烟雾、灰尘、雨滴的干扰，相对于本文所研究垃圾清理机器人，作业环境为露天环境且对测距精度要求较低，双目摄像头较激光测距相比执行效率高，Halcon软件捕捉目标后可直接对目标进行测距，且对环境适应能力较强，所以本文测距系统选择双目摄像头测距系统。
在理想状态下，双目摄像头由两个规格相同的摄像头组成，因为两个摄像头采集图像时不在同一位置，所以采集到左右两幅图像同名点之间会存在像素位置差异，这个位置差异就叫视差[15]。图3为本文所使用的双目相机三维图，通过平行放置两台摄像机，从左右两个角度对物体进行图片采集，然后将获取到的图片进行处理通过三角测量原理计算出物体的距离，即可获得空间物体的三维坐标信息[16]。
由于光线沿直线传播，空间位置P可视为两个相机的投影中心与成像点连线的交点。图4为双目相机识别模型图。两相机的中心位置为O（x0，y0，z0），两相机的位置为O 1（x 1，y 1，z 1），O2（x2，y2，z2），焦距为f。P相对于相机的实际坐标为P实(x实,y实,z实)，P相对于左相机的拍摄坐标为P左(x左,y左,z左)，P相对于右相机的拍摄坐标为P右(x右,y右,z右)，由于相机与水平面平行，则两相机，y左=y左，z左=z右，则P点相对于左相机与右相机的视差为：
由于相机得到的垂直距离与实际距离存在一定的位置偏差，所以本文引用一个c值用于调整相机与实际距离得到的位置偏差，即
通过将两相机的目标检测中获得的目标物的中心点的坐标即可求出所有目标物相对于两相机中心的三维坐标。并以文本的形式将其保存，供后续调用。
4路径规划
本文在路径规划上采用蚁群算法路径规划。其基本原理是蚂蚁在道路中产生信息素，遇到还未经过的道路，会随机选择道路行走。其随机产生的信息素与其行走的路线长度呈正相关，蚂蚁产生信息素浓度与其行走路线长度成反比。因此蚂蚁若碰到该道路时，会选择信息素浓度相对较高的路线行走。因此最优路线信息素也会达到最高，最后蚂蚁便会得到了最佳的寻食路线[18]。
当采用蚁群计算时，为防止残余信素太多而淹没启发数据，当每只蚂蚁跑了第一步或者完成了所有n个城市的遍历（也即一个循环结束）时，必须对剩余数据进行补充整理。
本文使用式（7）~（8）对其进行更新调整[19]。
式中：t为时间；（i，j）为路径坐标。
本文中使用Ant-Cycle模型[20]。第k只蚂蚁在结束第一次路线搜索，对路线上所有信息进行更新。
调用目标定位中保存的目标物的三维坐标，由于项目中所需目标点较少，为确保路径规划的准确与稳定性，人为地在文本中添加了50个坐标点，作为蚂蚁的城市坐标，表1为文本中随机生成的50个点的坐标与排序后的坐标。用以模拟垃圾清理机器人通过视觉获取目标物的坐标。由于本文使用平行于x轴双目相机，y轴无具体参考价值，所以实验中未记录具体y轴参数。本文蚁群算法使用平台为Visual Studio平台，通过编写C#程序读取文本中点的坐标，并通过执行图5程序框图对其进行蚁群算法的迭代找出图6所示蚁群算法巡回最短路线。在模型的训练中，一般来说，迭代次数越多得到的结果就会越准确，通过实验可知当路径规划出现50个目标点时迭代次数如图7在283次时便会趋于一个稳定值，如图5所示，通过判断当前迭代次数出现的最佳路径总距离与前100次迭代次数出现的最佳路径总距离之差当小于一个定值时便停止迭代。
5试验及结果分析
本文实验所用相机为如图8所示100万像素720P双目、三维重建深度检测VR测距摄像头，两摄像头中心距离d=60 mm，焦距f=3.6 mm，目标物为市售品牌空瓶物，相机位置距离目标物真实值与测量值如表2所示。
通过执行图9的程序框图可计算出目标物在水面上测量值，通过对比可知真实值与测量值误差相对较小，其精度相对于垃圾清理机器人可有效将垃圾捡起，同时可返回图10在Halcon软件中对目标捕捉并返回标注结果图（由于本文摄像头畸变校准较好，本文中c=1.0）
通过蚁群算法可得最佳路径总距离为4 932 mm，如图11所示，路径为机器人位置→目标垃圾3→目标垃圾2→目标垃圾1→机器人位置。
6结束语
本文通过Halcon软件利用图像分割和边缘检测等技术，提取出垃圾的特征，如形状、大小和颜色等，对含有水面垃圾的原始图像进行目标物检测和识别，然后利用双目测距法定位目标物，得到目标垃圾的中心点坐标，找到垃圾在三维空间的坐标点，然后运用蚁群算法以最短路径为优先选择原则，避免机器人在清理过程中产生不必要的时间浪费。规划出水面垃圾清理机器人清理目标垃圾的运行轨迹，供水面垃圾清理机器人运动控制系统调用，以达到清理垃圾的功能。最后，本研究将目标定位与路径规划的结果融合，实现了水面垃圾清理机器人的自主运行。实验结果表明，该方法具有较高的准确性和可行性，有效地提高了垃圾清理的效率。该方法对于推动水面垃圾清理机器人的发展和应用具有重要的实际意义和应用价值。
参考文献：
[1]张俊,欧阳孝培.基于单目视觉的轮式机器人目标定位及路径规划初探[J].企业科技与发展,2019(8):76-77,80.
[2]刘雁南.基于无穷远信息的单目相机标定方法研究[D].呼和浩特:内蒙古大学,2022.
[3]肖晓伟,肖迪,林锦国,等.多目标优化问题的研究概述[J].计算机应用研究,2011,28(3):805-808+827.
[4]KIM H,YAMAKAWA,ISHIKAWA M.Seamless Multiple-Target Tracking Method Across Overlapped Multiple Camera Views Us⁃ing High-Speed Image Capture[J].Journal of robotics and mecha⁃tronics,2022,34(5 TN.201):1043-1052.
[5]刘茜.水面移动机器人目标检测与定位方法研究[D].沈阳:沈阳理工大学,2013.
[6]陈为,李泽辰,张婧,等.基于HALCON的工业机器人视觉系统标定方法研究[J].电子测量技术,2020,43(21):137-141.
[7]徐凯.基于双目视觉的机械手定位抓取技术的研究[D].杭州:浙江大学,2018.
[8]於双飞,杨怀斌,孔凡国,等.一种水面漂浮目标的视觉检测方法[J].机电工程技术,2019,48(4):131-133+177.
[9]包全磊.基于HSV空间的彩色图像分割[J].软件导刊,2010,9(7):171-172.
[10]周飞,刘桂华,徐锋.基于视觉显著性的水面垃圾目标检测[J].测控技术,2019,38(11):76-80.
[11]贺潇,苏彩红,詹宁宙,等.基于Halcon的圆形陶瓷片表面缺陷检测方法[J].佛山科学技术学院学报(自然科学版),2021,39(2):28-32.
[12]李茂山.超声波测距原理及实践技术[J].实用测试技术,1994(1).
[13]胡而已.融合激光扫描与机器视觉的煤流量测量研究[J].煤炭工程,2021,53(11):146-151.
[14]张虎,高云,王志虎.激光测距仪在提升机上的应用[J].汽车电器,2022(2):52-54.
[15]宋子豪.基于双目立体视觉的汽车测距避障和目标识别研究[D].武汉:华中科技大学,2019.
[16]白爽.基于双目视差的测距系统研究与实现[D].南京:南京邮电大学,2015.
[17]郭海洲.基于双目视觉的室内目标检测与测距系统研究[D].桂林:广西师范大学,2022.
[18]张明伟,李波,屈晓龙.基于混合蚁群算法的重调度低碳城市配送[J].计算机工程与设计,2022,43(10):2992-3001.
[19]ZHANG Yuanyi,ZHANG Zheng,WANG Quan.Robot path planning based on improved multi-step ant colony algorithm[J].Computer Engineering and Design,2018,39(12):3829-3834.
[20]屈正庚,杨川.基于改进蚁群算法的移动机器人全局轨迹规划研究[J].南京师大学报(自然科学版),2015,38(1):81-85.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！ 文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/77186.html
