SCI论文（www.lunwensci.com）
摘 要：针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设 计,获取目标物体在空间中的三维信息。该系统设计基于 ABB 机器人执行系统,使用 TCP 触碰标定板的方式完成双相机的标 定,采用 SIFT 斑点算法获取工件的特征,结合 Opencv3.4.1 库,基于图像特征点对左右相机获得的图像进行立体匹配,得到 物体的三维点坐标,引导机器人实现抓取。
关键词：双目视觉,相机标定,立体匹配,ABB 机器人
Design and Implementation of Robot Positioning System Based on Binocular Stereo Vision
FU Ruiyun
(East Pudong Branch, Shanghai Open University, Shanghai 201200)
【Abstract】： Traditional industrial robots' pre-teaching or monocular vision guidance has certain limitations. Therefore, a robot positioning system based on binocular stereo vision was proposed to obtain the three- dimensional information of the target object in the space. In the system design based on ABB robot execution system, the dual cameras were calibrated with TCP touching the calibration target, and the features of the workpiece were obtained by SIFT speckle algorithm . Furthermore, the images obtained by the left and right cameras were stereo matched based on their feature points in combination with Opencv3.4.1 library. Finally, the three-dimensional point coordinates of the object were obtained, and then the robot was guided to grab the object.
【Key words】： binocular vision;camera calibration;stereo matching;ABB robot
传统工业机器人通过预先示教 [1] 或单目视觉引导的 方式完成工艺和作业,这些工作方式在很大程度上存在 局限性。一旦存在产品公差、工艺误差、力形变、装配 或检测流程积累的误差时,位置误差容忍度低和抗干扰 能力弱的问题就容易凸显出来。
双目视觉已成为科学研究、设计、产品制造领域一 项重要的基础技术 [2] ,其可利用双摄像头对物体空间做 标定定位,解决了单目视觉无法直接获取目标三维坐标 信息的问题 [3] ,也使得工业机器人面对复杂生产环境、 多品种工艺有着更好的适应性和灵活性,拓宽了机器人 的应用场景。
本文基于 ABB 机器人执行系统,使用 TCP 触碰标 定板的方式完成双相机的标定,采用 SIFT 斑点算法获取工件的特征,结合 Opencv3.4.1 库,基于图像特征点对 左右相机获得的图像进行立体匹配,得到物体的三维点 坐标。通过 CCD 摄像机获取托盘上的工件图像,通过工 控机进行图像预处理、特征处理、坐标转换等步骤, 通 PC-interface 模块功能将工件位置信息和欧拉角传输至 机器人控制器,改变机器人的姿态进行抓取。
1 总体系统设计
(1) 相机和镜头采用 FM-830 系列相机,使用千兆 以太网与工控机通讯。相机安装于托盘上方 2300mm 的 支架上。
(2) 机器人采用 ABB 公司的 IRB6700 型机器人,机 器人控制器版本号为 Robotware6.09.该机器人具有 6 个 自由度,结构刚性较好、运动控制性能强、负载高达300kg,能适应严苛的工作环境。
(3) 工控机采用 CPU 为 Intel-i5 处理器、8G 内存、 Win10 系统进行图像采集和处理,实现与机器人的通讯。
根据实际需求,调整相机到托盘的距离, 以获得合 适的视野。初始状态时,机器人触发摄像头进行拍照, 相机获得同一层图像数据传输于机器人,机器人进行拆 垛,拆完同一层,再重新触发拍照,直至镜头下无工件 识别,拆垛结束。如图 1 所示为机器人搬运布局图。
2 双目视觉成像模型
2.1 摄像机成像模型
2.2 双目摄像机标定
相机标定的目的是建立像素坐标系和机器人基坐标 系的转换关系。在单目相机中,因一般只能推导出的两 个独立的方程,故无法求解出三个方向上未知量。双目 相机是利用两个摄像头对某点形成的视差,测出该点的 深度信息,即通过两个摄像机相对世界坐标系的关系, 获得空间点 P 的位置,如图 3 所示。
公式(4)展开整理,可以得到两条三维空间中的直线方程,可用最小二乘法求解该方程组,即可获取场 景点的三维坐标。
2.3 标定过程
根据摄像机相对于机器人的安装方式,目前有两种 机器人手眼标定的方法：摄像机独立于机器人固定安装 在机架上的 Eye To Hand(ETH)方式,摄像机安装于 机器人法兰盘末端的 Eye In Hand(EIH) 方式。同时, 可采用采集多个随机标定板位姿或 Tool Center Point (TCP)触碰标定板的方法添加标定点。该实验通过使 用 ETH 的方式手眼标定,并通过 TCP 触碰标定板中心 的方法,建立标定板、摄像机以及机器人三者的关系, 如图 4 所示为标定针。此种标定方法简单易操作,适用 于机器人空间布局灵活的场景。标定过程如下：
(1)在机器人末端法兰盘处安装标定针,通过 6 点 法得到标点针的 Tooldata1 数据,然后用重定位法进行 TCP 点的检验;
(2)将三块标定板至于相机视野下,三块标定板的放置有一定规律,如图 5 所示。标定板 2 与标定板 1 的 X 数值接近,标定板 2 与标定 3 的 Y 数值接近;
(3)调整相机位置得到最佳视野效果,记录在相机视野下三块标定板中心点位置数据,如表 1 所示;
(4) 在工具坐标系 Tooldata1 和基坐标系 wobjdata0 下,利用标定针触碰标定板的三个中心,并以三个中心 点建立工件坐标系并保存;
(5) 在工具坐标系 Tooldata1 和基坐标系 wobjdata0 下,以码垛的托盘为中心,且与机器人的基坐标 X, Y, Z 方向平行,建立托盘坐标系并保存。
3 工件图像特征提取与立体匹配
通过视觉引导实现对产品的抓取的关键在于定量或 定性地分析图像中的某些特征。相比于全局分析图像, 研究产品的局部特征消耗时间短,计算力要求不高。首 先对图像预处理,解决因外界干扰因素所导致的图像质 量下降问题。通过直方图均衡化的方法,对图像的每个 像素点重新分配,使得每一灰度等级的像元的数量基本相等;考虑到现场工况较差, 可能存在一定的噪音 [7] , 利用高斯虑波的方式,对每一个像素值进行加权计算, 消除图像中的高斯噪声;利用 SIFT 斑点算法 [8] ,比较 产品周围灰度值来判断特征信息。最后基于图像的有效 特征点进行立体匹配,根据 OPENVC 提供的算子求出 物体的像素坐标 [9] ,利用特征点的匹配映射关系,获得 左右摄像机中图像之间的对应关系,如图 6 所示为图像 提取流程图。
本文选用的 SIFT 算法是基于尺度不变特征进行物 体识别,即一幅图像中在不同尺度空间有相同特征点存 在,则该特征就有尺度不变形 [10]。实现步骤如下：(1)
构建尺度空间,如式(5)所示：
公式(5)中, L 为尺度空间、G 为高斯函数、I 为原 图像 [7];(2)构建高斯差分尺度空间,用高斯函数来实 现尺度的模拟;(3)极值点监测,找寻某一像素点的最大 值或最小值;(4) 筛选极值点, 利用高斯差分函数, 剔除 对比度和边缘不稳定的像素点;(5)确定特征点方向, 相邻像素点之间存在一定的走向关系,确定梯度方向。
4 实验
为了验证理论的准确性和定位的准确性,在码垛上 放置长宽高为 540×460×200 的纸箱子进行抓取测试, 抓取工具采用吸盘夹爪,防止因抓取导致的纸箱子变形 问题,且为 Z 轴方向的误差保证余量。
在普通光源照明条件下,完成抓取实验。实验结果 如表 2 所示。除去不可避免的机器人制造精度误差,本 次标定实验的误差主要来源于手动标定,通过机器人手 动操作去触碰标定板中心,可能影响标定精度。通过 表 2 可知在 2300mm 的相机高度下, X、Y 方向的误差 在 17.43mm,Z 方向的误差为 10.81mm, 可知相同相 机安装高度, Z 方向的误差要小于 X、Y 方向误差, 基 本能满足大型机器人抓取精度要求。
5 结语
本文依据双目相机立体视觉测量理论,主要研究了 双相机成像模型,建立像素坐标系和机器人基坐标系的 转换关系等理论, 利用 OpenCV 中的算子获取转换关 系和物体特征点的提取,以机器人为执行机构,工控机 负责图像采集和处理,实现引导抓取。实验结果表明： 相同相机安装高度, Z 方向的误差要小于 X、Y 方向误 差。将双目视觉技术和工业机器人结合,拓宽了应用场 景,提高了生产线的柔性,扩大了企业的经济效益。
参考文献
[1] 高松斌 .工业机器人视觉定位技术与应用探讨[J].机电技术, 2021(6):118-120.
[2] 杨晨曦,华云松 .基于双目立体视觉的目标物测距研究[J].软 件,2020.41(1):128-132.
[3] 熊敏君.基于视觉和惯导信息融合的小型无人机位姿估计研 究[D].长沙:国防科技大学,2017.
[4] 田瑜 .基于双目视觉的运动目标跟踪定位及抓取系统研究 [D].西安:西安工程大学,2018.
[5] 杨旗,陈杰,崔玉博,等.基于视觉引导的ABB机器人定位与抓 取[J].机械工程与自动化,2019(5):57-59.
[6] 车向前 .结构光三维测量系统中匹配与拼合技术研究[D].哈 尔滨:哈尔滨工程大学,2008.
[7] 刘敬华.基于双目视觉的运动工件识别与机器人抓取系统研 究[D].青岛:山东科技大学,2019.
[8] LOWE D G.Object Recognition from Local Scale-invariant Features[C]//Proc of IEEE International Conference on Computer Vision,1999.
[9] [加]Robert Laganière.OpenCV计算机视觉编程攻略(第3 版)[M].相银初,译.北京:人民邮电出版社, 2018.
[10] 王栋 .基于视觉的机械臂目标跟踪与抓取方法研究[D].青 岛:青岛科技大学,2021.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/52995.html
