摘要：为了解决鞋底上胶成本高，效率低，设备昂贵等问题，以鞋底涂胶工艺为研究对象，设计了基于3D视觉的全自动鞋底涂胶系统，提出集成3D深度学习视觉算法。通过设计合理的视觉系统，获取鞋底的点云，分析鞋底点云的重要属性，提取鞋底的关键信息。通过相机拍照，从点云中提取特征值，形成特征向量，并通过控制器，将特征向量即机器人的涂胶状态传送到机器手臂，为机器人自动化涂胶提供数据支撑。结果表明：基于3D视觉的全自动鞋底涂胶系统能提升鞋底涂胶自动化水平，使得鞋底涂胶系统不再受限于涂胶工艺的约束，提高了适用范围，有利于实现产业升级，提升鞋业竞争力。
关键词：3D视觉,全自动,涂胶
0引言
随着计算机技术应用领域的不断扩大，所引领的物联互通、人工智能技术也跟着飞速发展。“中国制造2025”、美国“工业互联网”以及德国“工业4.0”均提出要从传统的制造技术向智能制造技术的转型升级[1]。作为机电一体化产品的典范——工业机器人广泛运用于各种场合，“机器换工”蔚然成风。
随着技术的发展，一门集智能技术、图形学、人机交互、传感技术等多种技术的集成的学科[2]也得以快速发展，即虚拟现实技术，简称VR。它由各种传感器、软硬件所生成的特殊的、虚拟的环境，可以真实地还原或模拟现实世界的事物或环境，给人以沉浸感[3]。人可以借助于设备，真实地让自己投入到这种环境中。计算机处理人的各种动作数据并做出实时响应，从而实现对该虚拟环境的控制与交互。
目前，随着劳动力成本增长、人员频繁流动等问题日益显著，制鞋产业出现了严重的用工荒。另一方面，市场的需求，特别是对高质量产品的需求仍在攀升，推广应用智能化、自动化装备是鞋业发展的趋势，也让企业看到了转型升级的曙光，中国制造已经开始向中国智造转变。企业的核心竞争力主要在于先进技术与高端设备，智能化也是企业发展的主要方向[4]。但从整体看，受限于软硬件系统，特别是芯片等高端设备，我国制鞋装备对外的依存度仍然较高，缺乏世界知名设备品牌等问题。随着人口红利的消失，要留住鞋企，唯一的出路在于实现智能制造[5]。
目前，国内部分中小型制鞋企业的鞋底上胶工序主要由人工完成。人力成本的逐渐升高[6]给企业带来较大的成本支出，同时手工涂胶的随意性也造成大量原材料的浪费。为了解决中小型制鞋企业鞋底上胶成本高，效率低，设备昂贵等问题，迫切需要研制鞋底自动涂胶设备[7]。
随着视觉技术尤其是3D视觉技术的发展，通过3D相机获得物体的三维信息，给鞋底涂胶带来了创新性改变[8]。作为当前社会最为热门的研究领域之一的视觉系统，其特点是具有高度的柔性化和自动化。视觉系统一般可分为照明系统、图像采集系统以及图像分析系统三大部分，各个系统相互分工，互为合作，它是工业机器人捕获环境信息的主要形式，能使机器人能够适应复杂的应用场合[9]，实现准确导航。它通过光学装置，通过视觉的引导，对目标物进行采集，提高机器人的灵活度，突破单一、死板的操作，从而实现对目标的观察、检测与分析。因相机所捕获的图像信息一般会有较大的图像噪声，所以需通过多样化运算、分析、解析，及时将图像的亮度、颜色、像素分布等信息进行转化，抽取相应的目标特征得到相应的判断结果[10]，最后将数据输入到系统中，反馈于控制设备，从而提高生产效率和鞋类产品的品质。
1系统设计
涂胶系统的整体框架如图1所示。系统的整体框架主要由两部分组成，硬件部分主要包括：机械手、3D相机、工控机等；软件部分主要包括：图像处理模块，视觉定位模块和涂胶轨迹生成模块[11]。工作流程如图2所示。
1.1系统构建
鞋底涂胶系统可以分为上料、视觉、图像处理、机器人涂胶等4个单元。硬件包括工业相机、光源、计算机、传感器、机器人、供胶装置、涂胶装置等。其中，相机用于采集待加工鞋底的原始图像；光源用于改善生产线中的光照条件，增加图像处理的准确率；计算机用于运行图像处理的程序和显示系统的操作界面，并将加工过的数据发送给机器人；机器人用于准确控制涂胶装置对待加工的鞋底进行喷涂工序；供胶装置用于保证生产途中不会出现胶水供应不及时的情况。
1.2软件
软件的界面能够实时地显示相机所采集的图像，并将所生成的涂胶轨迹数据点的信息显示在系统界面中。同时显示必要的数据和多个主要步骤处理的结果，以便分析，并为下一步设备的改进和后续生产中对算法的进行进一步优化，从而实现涂胶系统的智能保养与维护，提高涂胶机的生产质量与使用寿命[12]。
1.3数据处理
设计合理的图像处理流程及方法，对采集到的鞋底图像进行图像处理，去除干扰信息并进行缺陷修复，提取有效的图像特征信息，并对提取到的喷胶轨迹进行插值处理，使其连续平滑，得到正确的喷胶轨迹，为机械手进行喷胶作业提供数据支持。
1.4涂胶
本模块主要由机器手、供胶装置，涂胶装置等3部分构成[13]。当图像处理单元提取出涂胶轨迹的数据后，机器人根据计算机发送的轨迹数据对当前的鞋底进行涂胶作业。为了避免涂胶过程中出现胶水供应不及时的情况，胶枪的喷嘴需要连接着供胶装置，而其自身则固定在机器手的末端，由机器手带动，进行喷涂，从而完成涂胶工序。
2控制系统设计
制鞋工艺中存在鞋底上胶不均，流胶等质量问题，严重影响到鞋子的质量，基于3D视觉全自动鞋底涂胶系统的研究，集成3D深度学习视觉算法，通过DUCO mind控制器，传递到机器手臂，让视觉感知决策与机器人运动深度结合，从而实现了机器手的自动涂胶，全方位满足自动化场景下的鞋底自动涂胶的需求，如图3所示。
2.1涂胶视觉系统
鞋底涂胶视觉系统由工业机器人和光视觉传感器共同构成，从而实现了鞋底的二维平面信息到三维数据的转化，为机械手的涂胶提供了数据信息。
2.2系统手眼标定
为了提高机器视觉系统量测和定位的精度与可靠性，相机标定是一个必不可少的环节。对于高精度应用，通常以标准参照物为拍摄对象进行标定[14]。参照物通过相机成像，通过图像处理算法提取相应特征，基于成像几何原理建立参数方程，采用最优化算法计算相机的内参数和外参数。内参标定的目的在于纠正成像过程中的图像畸变。由于相机硬件的制造工艺，其成像会引入误差，主要包括径向畸变和切向畸变两类。对于高精度应用，如果事先不进行内参标定，则可能导致应用的精度始终无法达到要求。此时，应当进行内参标定，采用标定参数对图像进行畸变补偿[15]，具体的标定流程如图4所示。
手眼标定的目的在于确定机器人基坐标系和相机坐标系之间的刚体变换参数，如图5所示。机械臂末端的运动目标位姿由控制器发出，其位于机器人基坐标系统下；而目标位姿的获取通常由相机得到，其位于相机坐标系下。因此，通过一个刚体变换将相机坐标系下的目标位姿转到机器人基坐标系统下，用于机械臂的运动轨迹规划和移动。
2.3点云配准算法
点云数据是由大量离散、不规则的点及其信息组成的数据集。点云数据处理的首要步骤是点云滤波，即将点云分为地面点和地物点，它是生成数字模型的前提。在系统中，对鞋底点云采取了背景去除、平面投影的方法来提取鞋底轮廓，引入点云法线加快鞋底模型成形的计算，从而减少算法的迭代[16]。
2.4实时鞋底点云模型提取
通过3D相机采集数据，获得鞋底边缘轮廓离散点坐标和鞋底高度变化的数据，建立鞋底边缘轮廓的三维信息。通过系统算法，生成机器手所能识别的涂胶轨迹线。
2.5鞋底涂胶轨迹提取
鞋底三维采集，主要通过图像的采集系统完成的，通过鞋底的移动，当鞋底触发光电传感器后，相机开始工作，对鞋底进行图像采集，生成鞋底的点云数据，并将采集的数据传递给DUCO Mind控制器，控制器再将处理好的数据送给机器人，最后完成涂胶的相关动作。
3系统测试
3.1硬件平台搭建
本项目开发环境是采用DUCO Mind是一款面向机器人的应用开发平台，具有丰富的通信接口，可以适配机器人、2D/3D相机、力学传感器、各种末端执行器以及PLC。内部搭载智能软件，集成丰富的深度学习视觉算法，配合2D、3D相机，能够满足自动化场景下的目标定位、瑕疵检测、尺寸测量、工件计数、二维码读取等功能需求。除了传统的视觉功能，DUCO Mind深度集成机器人的底层接口，内置智能决策、自主路径规划等功能，满足自动化场景下的应用开发需求。
3.2实例分析
（1）启动智能应用控制器，确认机械手位姿势及数据的配置，如图6所示。
（2）在相机界面，通过配置相机，对相机型号、参数列表，组件列表进行配置，完成对相机的通信。界面如图7所示。
（3）为了对成像过程中的畸变进行纠正，通过内参标定使精度达到要求，如图8所示。
（4）通过步骤2所连接的相机对鞋材进行拍摄采集后，生成鞋底的数据，用于后继处理，为下一步的自动喷胶提供了数据依据，鞋底的信息采集如图9所示。
4结束语
随着视觉技术的快速发展，为了提高鞋底涂胶效率与质量，本文通过3D视觉的全自动鞋底涂胶系统的研究，借助于3D相机，获取鞋底平面与高度的轮廓信息，对采集到的原始图像进行处理和分析，将点云配准技术应用于鞋底实时涂胶轨迹的获取，系统通过点云滤波和分割处理，去除传送带的背景等干扰参数[17]，大大减少了大量无效信息的影响。同时，软件界面参数可调，也可以实现远程调机、远程干预，便于企业的实际生产需要，提高了其对不同鞋型的适用性，有效地解决了传统涂胶存在的问题，极大地提升了生产效率，提高鞋类品质。未来将在系统研究开发时做更多的优化，主要包括以下4个方面：
（1）加快嵌入式芯片的研究，设计制造反应速度更快，路线规划更优，重复定位精度更准的自动涂胶机器人。
（2）加快主动安全的研究，使得自动涂胶机器人能够全方位地安全测距，确保使用安全。
（3）加快视觉系统的研究，实现准确定位，准确抓取、准确放置，通过视觉系统来修正机器人数据。
（4）加快物联网的兼容性研究，下一步实现自动涂胶机器人的联机组网，为无人工厂、智能制造创造条件。
总之，基于视觉系统全自动鞋底涂胶系统极大地提升了生产效率，提高鞋类品质。是工业机器人在鞋业领域的新应用，使传统制鞋业产生了新业态。
参考文献：
[1]郭源,张爱军.基于3D相机的拆垛机器人手眼标定方法研究[J].组合机床与自动化加工技术,2024(1):1-4.
[2]郑震宇,高健,郑卓鋆,等.基于3D视觉点云配准的高精度手眼标定方法[J].机械设计,2023,40(S2):51-56.
[3]王洪申,曹熙淦,李昌德.基于3D视觉的机械零件位姿分析[J].组合机床与自动化加工技术,2023(8):131-134.
[4]陈汉,任杰亮,闫帅,等.面向机器人激光增材制造的机器视觉系统标定算法[J].电焊机,2022,52(2):36-41.
[5]钟治魁.基于3D视觉制鞋自动成型关键技术研究[J].机电工程技术,2022,51(11):104-107,215.
[6]杨华庆,张建护,唐德渝,等.机器人立体视觉系统标定误差预测补偿技术[J].控制工程,2022,29(4):757-762.
[7]MAHMUD Y,RASHED-Ul-ISLAM M,ISLAM M O,et al.As⁃sessment of the carbon footprint and vocs emissions caused by the manufacturing process of the footwear industry in bangladesh[J].Textile&Leather Review,2021,4(1):23-29.
[8]陈甦欣,汪涛.基于视觉的涂胶质量检测方法[J].组合机床与自动化加工技术,2020(7):138-141.
[9]刘鹏祥,王冰,吕达.基于机器人3D视觉引导的汽车空腔自动发泡研究[J].机床与液压,2023,51(1):120-124.
[10]吴趟.机器视觉3D成像及其测量技术研究[D].南京:南京理工大学,2020.
[11]邢礼源.基于3D视觉的运动鞋底信息提取研究[D].上海:东华大学,2021.
[12]马诗杰.鞋业拥抱大数据[J].鞋类工艺与设计,2021(5):38-43.
[13]朱传浩,欧阳八生.基于机器视觉的多种类标签识别方法研究[J].机电工程技术,2023,52(2):177-181.
[14]曾泽钦,陈燕,邹湘军,等.基于机器视觉感知的交互式虚拟装配研究[J].机械设计与制造,2022(9):261-266.
[15]贾明峰,胡国清,吕成志.基于图像处理的自动喷胶系统的研究[J].制造业自动化,2017,39(6):116-119.
[16]WENBO Q,QIAO W B,XU Y P,et al.An improved adaptive window stereo matching algorithm[J].Journal of Physics.Confer⁃ence Series,2020,1634(1):012066.
[17]吴立华,白洁,康国坡,等.基于深度学习的螺纹钢焊牌机器人3D视觉计数和定位方法[J].机电工程技术,2023,52(12):73-76.
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/78161.html
