SCI论文（www.lunwensci.com）
摘要：设计了一套遥操作机器人系统并提出一种相对位姿尺度变换的姿态映射算法和在线轨迹平滑方法，以解决遥操作系统存在主从端工作空间不匹配以及控制数据不稳定的问题。首先，结合光学追踪器和惯性传感器设计符合人类日常习惯的主端动作捕捉系统；从端采用三轴云台相机、UR5机械臂和机械手搭建了类人的机器人系统。其次，为解决遥操作系统存在的主从端异构、工作空间大小不匹配等问题，提出一种相对位姿尺度变换算法。最后，针对所设计的遥操作机器人系统和控制算法开展了主从跟随精度验证和遥操作抓放物体实验。实验结果表明，相对位姿尺度变换方法兼顾了遥操作任务中的效率和精度要求，在操作者动作姿态快速变化的运动过程中，所设计的遥操作系统仍能以较高精度跟随目标轨迹运动，且从端延时仅约为0.1 s，使得从端机器人可较好地实时复现主端操作者的动作。
关键词：光学追踪器；惯性传感器；动作捕捉系统；遥操作机器人；主从跟随
System Design and Control Method of Teleoperated Robot
Liu Jiarui1,2，Shu Lin1,2，Sun Yaqiang1,2，Liang Guoyu1，Liang Jun1
(1.Guangdong Institute of Artificial Intelligence and Advanced Computing,Guangzhou 510530,China;2.Institute of Automation，Chinese Academy of Sciences,Beijing 100049,China)
Abstract:A teleoperated robot system is designed and a pose mapping algorithm based on relative scaling transformation and an online trajectory smoothing method are proposed to solve the problems of master and slave workspace mismatch and control data instability.First,a motion capture system is designed by combining optical tracker and inertial measurement unit that conform to everyday human habits,and a robot system is constructed by using a three-axis gimbal camera,UR5 manipulator and a robot hand.Second,in order to solve the problems of master/slave heterogeneity and workspace size mismatch in teleoperation system,a relative pose scaling algorithm is proposed.Finally,the master-slave tracking accuracy verification and the experiment of grasping and releasing objects are carried out according to the designed teleoperation robot system and control algorithm.The results show that the relative pose scaling algorithm takes into account the efficiency and accuracy requirements of the teleoperated task,the teleoperation robot can still follow the target trajectory with high precision in the process of the rapid change of the operator's motion,and the motion delay of the slave end is only about 0.1 s.
Key words:optical tracker;inertial measurement unit;motion capture system;teleoperated robot;master-slave follow
0引言
遥操作人机交互系统最主要的作用是准确地获取操作者的控制意图，转换为控制指令后下发给远程控制的机器人。传统的交互设备，如键盘、遥控器等，并不能将操作者的动作直观显式地转换为被控对象的动作。目前，拟人化的交互设备已成为遥操作机器人交互系统的热门发展方向。
国内外学者在机器人遥操作方面进行了深入的研究和广泛应用。Filippo B等[1]通过使用RGB-D摄像头和头显设备来实现远程机器人端的增强现实(AR)效果，利用增强现实反馈来修正改善操作者和远程机器人之间动作的同步性，以此克服感知差异从而提高任务执行的准确性和效率。Elias M等[2]针对用于建造航空航天复合材料部件的胶带铺设任务提出了一种高度互动性和沉浸式的虚拟现实训练机器人系统，实时模拟机器人和人类之间的合作，协同处理执行制造任务。Xi B等[3]通过使用一套虚拟现实设备来捕捉操作员的动作并通过视觉反馈显示远程现场，利用估计的机器人运动来纠正操作人员的输入，以提供操作协助指示。Almas S等[4]详细介绍了一种采用无线传输的惯性传感器设计的7自由度人体手臂运动跟踪系统的混合设计方案，用于跟踪采集完整的人体手臂运动。左国玉等[5]采用惯性传感器单元设计动作捕捉系统，搭建遥操作护理机器人系统，在获取主端操作者动作后，遥操作任务最关键部分为主从动作映射控制。Minas V L等[6]提出了一种通用的人与机器人的运动映射方法，对于操作者手部的运动采用指尖映射方法，使机器人末端执行器偏移来补偿人手和机器人手之间的尺寸差异。高胜等[7]通过对人机合作中半自主控制模式和完全手动控制的直接控制模式分析和研究，引入虚拟操作设备并采用系统确认服务模型提出了3种控制模式，为遥操作机器人系统人机合作提供参考方案。汤卿等[8]针对异构型主从遥操作控制系统，提出一套相对增量式的遥操作控制算法，实现对不同大小工作空间的精确异构遥操作控制。贺文人等[9]针对工业机器人遥操作系统中存在的主从机器人工作空间差异以及运动控制精度与安全问题，提出了一种工作空间映射算法与位置-速度混合控制策略。王学谦等[10]针对空间机器人的特点设计了多种遥操作控制模式，提出了空间机器人遥操作分层控制结构。万程等[11]基于PID控制调整航向控制器,实现水下机器人六自由度遥操作控制。
本文搭建了一套能在野外执行任务的遥操作机器人系统，通过结合光学追踪器和惯性传感器的方式捕获高精动作数据并进行实时映射。为解决遥操作系统普遍存在主从端异构、工作空间大小不匹配以及控制数据不稳定等问题，提出一种相对位姿尺度变换的遥操作姿态映射算法和低时延的轨迹平滑方法，实现主端对从端机器人的精确控制。该系统能提供精准的捕捉效果、高效的动作映射和实时的信息反馈，使用在线轨迹规划方法克服噪声问题，实现连续平滑的机器人控制效果。
1遥操作系统设计
1.1系统组成及硬件设计
遥操作系统由主端的人体运动捕捉系统和从端的机器人系统组成，主端部分获取操作者的动作信息后，经过遥操作控制解算将动作指令同步发送给从端机器人，同时将现场工况以视觉信息反馈给主端操作者。
图1为本文所设计遥操作机器人系统的工作示意图，其中主端系统主要用于捕捉操作者动作以及接收从端反馈信息，主要包括：基于HTC VIVE的手腕追踪器、头显设备和基于惯性传感器的动捕手套。从端机器人系统主要由三轴云台相机、机械臂、仿人机械手和底盘组成，通过三轴云台相机设备获取从端机器人工作环境的视野，其中云台与主端的VIVE头显设备构成主从系统，相机监控到的视觉信息通过网络实时反馈给VIVE头显的视窗，采用6自由度协作机械臂UR5作为人体手臂远端的执行机构，并在UR5机械臂末端安装有12自由度的仿人机械手。从端机器人系统整体结构与人体相似，整个系统的动作方式符合人类的日常动作习惯，使遥操作控制过程更加直观和方便，能降低遥操作控制的难度。
HTC VIVE追踪器穿戴在操作者手腕处，通过基站捕捉操作者手臂动作和姿态；头显设备同样带有追踪器功能，可通过基站捕捉操作者头部的动作信息。主端动捕手套使用的惯性传感器采用的是ICM-20948模块，该模块集成了三轴加速度、三轴角速度计和三轴磁力计，对原始数据采用数字滤波处理，有效地降低测量噪声，并运用姿态融合算法实时解算模块的运动姿态[12-13]。
1.2软件设计
遥操作控制系统分为上位机和下位机程序两部分，如图2所示。下位机软件主要功能是实时采集从端系统各传感器及设备的信息数据，然后将数据整合编码后通过网络发送到上位机。上位机软件主要功能为：与下位机的从端数据处理平台进行数据通信，接收下位机所反馈的从端信息数据，如相机图像信息、机器人状态信息等，以及给下位机发送控制指令；获取主端运动捕捉系统的信息数据，如VIVE头显设备、追踪器位姿信息和惯性传感器原始数据等；遥操作控制模块，主要是对应三轴云台、机械臂和机械手3个子系统的姿态解算及控制功能。
2遥操作控制算法策略
2.1相对位姿尺度变换的空间映射方法
不同于在关节空间实现主从运动映射方法[14]，本文选择直接在工作空间实现主从端动作的映射，一方面操作者可以更自然直观地按照人类习惯执行相应的动作，而不需要在脑海中对动作映射关系做一次转换；另一方面直接从工作空间对动作进行映射，主从端动作幅度成线性关系，从端机器人执行动作的精度不会受结构构型的影响。
操作者与机器人之间的运动映射分为位置映射和姿态映射2部分，为了使遥操作更直观，操作者手部的姿态被直接映射到机器人末端执行器上。在遥操作过程中，将操作者手部的位姿从VIVE参考坐标系中映射到机器人参考坐标系中，从而得到机器人末端执行器的目标位姿。然后将目标姿态通过网络通信发送给机器人。
根据实际机器人及VIVE设备测量坐标系的设置，机器人基座标系和VIVE测量坐标系之间转换关系为：
相对位姿遥操作控制方法主要目的是解决操作者手部活动范围相对于从端机器人末端执行器活动范围[15]要小得多的问题，为使得从端机器人尽可能覆盖较大的工作空间，本文提出采用以相对运动量来代替绝对位姿的方式，通过使能开关触发相对位姿对齐点，当使能后操作者手部的运动会发送到从端机器人，而未使能状态下，机器人保持上一时刻状态，此时操作者手部动作不起任何作用，该方法也方便操作者随时应对突发状况，起到一定的安全作用。相对位姿遥操作控制方法主要包括3个步骤：1)使能后，获取VIVE测量坐标系下的操作者手部的运动；2)将VIVE测量坐标系下的操作者手部的运动转换至机器人基座标系下；3)将机器人基座标系下的运动量叠加到当前机器人末端执行器运动上并执行。
操作者手部的运动在VIVE测量坐标系下的运动变换矩阵可以计算为：
式中：Tvm为运动变换矩阵，表示的是操作者手部运动的意图；Tv0为使能时刻操作者手部定位器的位姿；Tvk为使能后k时刻操作者手部定位器的位姿。
操作者手部运动在操作者手部坐标系下可表示为：
式中Tvh为操作者手部坐标系到VR测量坐标系的齐次变换关系。
为了使操作者在遥操作控制机器人时尽可能地与日常作业习惯保持一致，避免引入额外的映射关系，实现所见即所得的控制效果，即操作者手部动作的上下左右前后与机器人末端动作的上下左右前后保持一致，即
式中Trm为与操作者手部动作一致的机器人末端执行器坐标系下的运动变换矩阵。
由于无法直接获取VR测量(或操作者手部)坐标系与机器人末端执行器坐标系之间的转换关系，需要先解算在机器人基座标系下的运动变换，即
式中：Tbm为机器人基座标系下的运动变换矩阵；Tbr为机器人末端执行器坐标系到机器人基座标系的转换关系。
综上即可求解使能后描述在机器人极坐标系下对应操作者手部动作的机器人末端执行器动作Tbm，进而可求得
式中：Tb0为使能时刻机器人末端执行器的位姿；Tbk为使能后k时刻机器人末端执行器的位姿。
进一步地，可通过机器人逆运动学[16]解算各关节角的运动量并控制机器人运动实现相对位姿控制方法的遥操作。
使用遥操作系统时，在同一任务中往往某些工作内容需要实现快速移动，而某些工作内容则需要的是较高精度的完成，尺度变换法可以使遥操作控制的灵活度和精度分别得到提升改善。常见的尺度变换可以分为各向同性和各向异性尺度变换。具体地，将尺度变换矩阵定义为：
式中：kx、ky、kz分别为x、y、z方向的变化尺度；px、py、pz为相对缩放点的位置。
记
式中Rhm∈R3×3，Phm∈R3，分别为Thm的旋转部分和平移部分。
分别为Thm的旋转部分和平移部分。
将尺度变换应用于遥操作控制，则
进而将Thm'替换式(4)中原Thm则可实现相对位姿尺度变换方法。
2.2轨迹平滑处理
在进行遥操作任务时，主端操作者的动作不可避免会出现抖动等干扰影响，从端机器人由于受到驱动机构性能等因素的制约，不能直接将主端操作者的运动映射给远端机器人，需要对机器人各关节进行在线轨迹规划以避免激发机器人的振动模态，机器人进行运动轨迹规划时需要考虑加速度约束、速度约束和位置约束等多个约束条件，本文主要采用在线轨迹规划(On-Line Tra⁃jectory Generation OTG)算法[17]对经过机器人逆运动学解算的关节角进行在线轨迹规划。其具体原理如图3所示，输入参数为：
式中：Mi为各关节位置当前状态值；M为下一目标时刻各关节位置状态；Bi为各关节的运动约束。
在本文所设计的遥操作系统中，M由主端动作捕捉系统采集到操作员动作后经关节解算所得，而各关节的运动约束参数则由从端执行机器人各关节驱动器实际的约束值所确定，OTG的输出为所规划的关节状态量Mi+1，包括关节位置、速度和加速度，本文所设计的遥操作系统主要使用关节位置作为控制指令。
3实验验证
为了验证设计的遥操作系统及控制算法的有效性，在所搭建的遥操作系统上进行了调试与验证实验。实验分为部分功能验证和总体功能验证，部分功能验证分为对操作者手臂与机械臂主从随动功能以及所提出的相对位姿尺度变换的空间映射方法进行主从操作跟踪数据对比分析实验，总体功能验证则通过模拟物体抓取实验实现。
在进行遥操作系统验证实验之前，为降低由于从端机器人系统各关节驱动器物理结构因素导致的运动轨迹不平滑问题，采用第2.2节所述方法对机器人各关节进行在线轨迹规划。图4所示为对UR5机械臂腕关节使用OTG前后的效果对比。
3.1机械臂主从跟踪实验
为验证所提出的相对位姿尺度变换空间映射控制方法，采用主端操作者在空间内执行曲线轨迹运动，通过记录主端操作者腕部VIVE追踪器的位姿和从端UR5机械臂末端位姿进行比对，如图5所示。
通过对比图5数据，从端UR5机械臂末端执行器的运动曲线能很好地跟随主端操作者手腕运动曲线，但由于遥操作系统存在网络、执行机构响应延时等影响，在遥操作任务时从端机器人系统响应的动作约存在0.1 s延时。
为验证尺度变换算法的有效性，设置比例放大系数为kx=ky=kz=1.5，相对缩放点为使能时刻从端机械臂末端执行器运动的起点，使主端操作者在平面内做圆形轨迹运动，同步记录主端操作者腕部VIVE追踪器的位姿和从端UR5机械臂末端位姿进行比对，如图6所示。
3.2物体抓取实验
为验证本文所设计遥操作系统的整体性能，在实验中增加了遥操作的距离，且将主端与从端分别放置在不同地点，如主端在实验室内操控，而从端在室外作业，实验过程主要模拟物体抓放(图7)，进一步验证了本文所设计的遥操作系统的整体功能，以及本文所述控制算法的有效性。
通过以上实验分析可知,采用本文提出的姿态映射和关节角解算方法,从端机器人各部分能实时、准确地跟随主端操作者进行动作。从实验数据曲线图中也能看到,虽然由于控制算法解算和通信等造成的延时，从端动作相对会存在约0.1 s的迟滞，但主从跟随控制时从端机器人的运动曲线与主端操作者的动作曲线基本保持一致，本文所设计的遥操作系统基本上符合人类的日常习惯，遥操作人员体验感较佳。
4结束语
本文研究和建立了一套遥操作系统，主端采用HTC VIVE追踪器和基于惯性传感器的动捕手套设计符合人类日常习惯的动作捕捉系统，从端主要采用三轴云台相机、UR5机械臂和机械手搭建了类人的机器人系统。提出一种相对位姿尺度变换算法进行遥操作控制，该方法的优点在于：每次使能后的局部动作中主端人体动作姿态到从端机器人姿态属于同构映射，映射关系直观清楚；遥操作整体任务中，多次使能对应的主端多个子工作空间叠加后可以实现覆盖从端机械臂较大的工作空间，且尺度变换方法兼顾了任务中的效率和精度要求。最后针对所设计的遥操作机器人系统和控制算法开展了主从跟随精度验证和遥操作实验，验证了该系统的实用性和工程性。
参考文献:
[1]FILIPPO B,LORENZO P,ALESSANDRO G,et al.Effects of augmented reality on the performance of teleoperated industrial assembly tasks in a robotic embodiment[J].IEEE Transactions on Human-Machine Systems,2018,48(2):197-206.
[2]ELIAS M,GEORGE C V.Design of a virtual reality training sys⁃tem for human–robot collaboration in manufacturing tasks[J].In⁃ternational Journal on Interactive Design and Manufacturing,2015,11(2):139-153.
[3]XI B,WANG S,YE X M,et al.A robotic shared control teleoper⁃ation method based on learning from demonstrations[J].Interna⁃tional Journal of Advanced Robotic Systems,2019,16(4):1-13.
[4]ALMAS S,TASBOLAT T,BUKEIKHAN O,et al.An open-source 7-DOF wireless human arm motion-tracking system for use in robotics research[J].Sensors,2020,3082(20):1-19.
[5]左国玉,于双悦,龚道雄.遥操作护理机器人系统的操作者姿态计算方法研究[J].自动化学报,2016,42(12):1839-1848.
[6]MINAS V L,PANAGIOTIS K A,KOSTAS J K.Functional an⁃thropomorphism for human to robot motion mapping[C]//The 21st IEEE International Symposium on Robot and Human Interactive Communication,September 09-13,2012,Paris.New York:IEEE,2012:31-36.
[7]高胜,赵杰.基于人机合作的遥操作机器人系统控制模型[J].哈尔滨工业大学学报,2006,38(3):447-451.
[8]汤卿,刘丝丝,尚留记,等.基于KUKA工业机器人的遥操作控制系统设计与异构主从控制方法研究[J].四川大学学报,2016,48(1):180-185.
[9]贺文人,刘霞,任磊.工业机器人遥操作系统的空间映射与控制策略[J].计算机应用研究,2020,37(11):3246-3262.
[10]王学谦,徐文福,梁斌,等.空间机器人遥操作系统设计及研制[J].哈尔滨工业大学学报,2010,42(3):337-342.
[11]万程,周焕银,刘国权.基于PID控制器的遥操作水下机器人航向运动研究[J].机电工程技术,2022,51(5):108-111.
[12]王晓初,李宾,刘玉县,等.一种基于改进卡尔曼滤波的姿态解算算法[J].科学技术与工程,2019,19(24):416-422.
[13]张静,李维刚,张骏虎,等.基于卡尔曼滤波的MIMU姿态解算算法研究[J].计算机测量与控制,2020,28(12):233-242.
[14]易润泽,李会军,宋爱国.基于多传感器的机器人遥操作人机交互系统[J].测控技术,2018,37(9):56-60.
[15]张秋怡,吴清锋,胡伟健.六自由度工业机器人工作空间的研究与分析[J].机电工程技术,2021,50(7):63-67.
[16]芦风林,张彦斌,王科明,等.并联式踝关节康复机器人的运动学分析及其优化[J].机电工程,2022,39(9):1303-1311.
[17]TORSTEN K,FRIEDRICH M W.Online trajectory generation:basic concepts for instantaneous reactions to unforeseen events[J].IEEE Transactions on Robotics.2010,26(1):94-111.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！ 文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/65018.html
