SCI论文（www.lunwensci.com）
摘要：制鞋成型由打磨、喷处理剂和喷胶水等复杂工艺组成，传统制鞋成型工艺由人工完成，生产效率低，成型自动化低，工艺环境对人体伤害大。为了解决传统成型工艺带来的问题，通过对制鞋成型工艺的研究，引入机器视觉技术，研究制鞋自动成型3D视觉关键技术，从鞋子三维重建技术，光条提取技术，喷胶视觉引导技术，打磨视觉引导技术等方面进行深入研究，设计制鞋3D扫描成像系统，提出基于FPGA的光条提取算法，基于配准算法鞋面喷胶视觉引导方法，基于聚类算法鞋底打磨轨迹提取方法。通过对制鞋自动成型工艺的3D视觉关键技术研究，解决制鞋自动成型中视觉技术融合问题，高效完成被测鞋子的三维重建，实现基于3D视觉打磨和喷胶特征轨迹提取算法，且验证了算法的有效性，提升了制鞋成型工艺的自动化和智能化，实现制鞋成型柔性化生产。
关键词：制鞋成像系统；光条提取；配准算法；聚类算法
Research on Key Technologies of Automatic Shoe Forming Based on 3D Vision
Zhong Zhikui
(Quanzhou HUST Intelligent Manufacturing Institute,QuanZhou,FuJian 362000,China)
Abstract:Shoe making and molding consists of complex processes such as polishing,spraying treatment agent and glue spraying.The traditional shoe making and molding process is completed manually,with low production efficiency,low molding automation and great harm to human body.In order to solve the problems caused by the traditional molding process,through the research on the shoemaking molding process,the machine vision technology was introduced to study the key 3D vision technology of shoemaking automatic molding.The in-depth research was carried out from the aspects of shoe 3D reconstruction technology,light strip extraction technology,glue spraying visual guidance technology,polishing visual guidance technology.The 3D scanning imaging system for shoemaking was designed,and the light strip extraction algorithm based on FPGA,the visual guidance method of upper spraying glue based on the registration algorithm,and the extraction method of sole grinding track based on the clustering algorithm were proposed.Through the research on the 3D vision key technology of the automatic shoe forming process,the problem of vision technology fusion in the automatic shoe forming process was solved,the 3D reconstruction of the tested shoes was efficiently completed,and the algorithm of 3D vision based polishing and glue spraying feature track extraction was realized.The effectiveness of the algorithm is verified,the automation and intelligence of the shoe forming process are improved,and the flexible production of shoe forming is realized.
Key words:shoe-making imaging system;light strip extraction;registration algorithm;clustering algorithm
0引言
中国不仅是制鞋大国，全球较大的鞋业制造基地，而且也是全球较大的鞋类产品消费市场。2019年中国鞋类产量为135亿双左右，约占全球产量的56%[1-3]。制鞋是劳动密集型制造，随着国内劳动力成本的上升，中国传统手工制鞋业逐渐失去了优势。但随着中国制鞋行业众多要素特别是人力成本的不断上升，国际贸易环境日趋复杂多变，制鞋产业开始向东南亚等地快速转移，我国鞋业面临的国际竞争不断加剧，产量占世界的份额已经连续数年呈下降趋势[4-5]。因此，提升制鞋成型自动化来突破传统劳动密集型制鞋的现状显得尤为重要。
由于制鞋工艺的复杂性，目前多数工艺采用人工完成，其中打磨和喷胶工艺是制鞋成型工艺中影响制鞋质量最重要的因素之一，占用人工最多，花费工时最长，且胶水中的化学物质对人体健康有一定的影响[6]。因此，制鞋成型迫切需要引入机器视觉等先进技术解决传统人工涂胶、打磨等工艺。
随着机器视觉技术飞跃发展，尤其在3D视觉成像技术方面[7]，通过3D传感器获得物体的三维信息，利用点云处理技术提取鞋材的关键信息，结合工业机器人实现制鞋成型过程中的喷胶和打磨等工艺，解决现有人工打磨、喷胶存在的问题，不断实现机器代替人工的过程。
如何设计合理的3D视觉制鞋成像测量系统，提取鞋材的关键信息，以及基于3D视觉工艺技术的研究，是制鞋自动成型的关键。
1制鞋成型测量系统
本文研究的测量系统主要针对制鞋成型中段的3D视觉关键技术研究，鞋材经过复杂多种的工艺，如打磨、喷胶等，最终完成制鞋成型过程。制鞋成型3D视觉测量系统包括成像系统、光条提取、标定等内容。测量系统的性能直接影响鞋材轮廓数据获取的速度和精度，间接影响制鞋成型工艺，最终影响制鞋成型质量。因此，如何搭建制鞋成型3D视觉测量系统至关重要。
通过对激光三角测距技术的研究，设计符合制鞋成型扫描的测量系统，根据鞋材成型成像需求，提出一种基于嵌入式的制鞋成像系统方案和一种基于FPGA实现光条提取算法的研究。
1.1激光三角测距技术
激光三角法测量系统主要由激光光源、透镜和光敏传感器组成[8]，其中激光器可分为点激光、线激光和其他形式激光。通过激光照射被测物体表面，然后在某一个方向的成像面上观察反射光斑的位置，从而计算出激光光条在成像平面的位置。根据入射光与被测面法线之间的关系可将测量系统分为直射式和斜射式两大类[9]，其原理如图1和图2所示。激光测量具有精度高，抗干扰能力强等特点，非常适合应用于制鞋成型扫描。
1.2成像系统设计
为了设计方面，采用基于直射式激光三角测距技术，考虑直射式测量视野的局限性，以及鞋材形状及成型工艺的要求，引进Scheimpflug测量原理，如图3所示，即在光路设计时成像平面旋转一个固定角α。
常用3D视觉扫描测量的方式是通过计算机集成相机API获取每一帧全幅图像，经过每帧图像处理，获取测量数据，由于数据经过网络传输，扫描速率受到很大的影响，且这种方案成本也较高[7]。
基于制鞋成型工艺，提出一种更适合制鞋成型的3D扫描成像系统，如图4所示，扫描系统框架包括两部分：成像软件和成像硬件。其中成像硬件由CCD、处理器、机器人或输送线和光学系统组成。处理器采用一种基于ARM+FPGA微处理器的嵌入式三维重建系统图像采集平台，ARM通过CCD采集图像，经过FPGA处理，将数据发送成像软件进行显示和处理，构建三维重建系统，通过成像软件的操作来控制嵌入式三维重建系统的工作，实现整个三维重建系统的软件操作性。
基于ARM+FPGA的嵌入式平台，软硬件兼容性高，系统集成化程度高，硬件平台所占的空间比较少，而且系统内核源码较小，系统通过裁剪比较精简，实际的开发周期短，适合用于需要实时性处理的场景中。FPGA架构的导入，弥补ARM算力不足的问题，同时为后续点云处理算法的研究提供硬件支持。
1.3基于FPGA光条提取算法实现光条提取是3D视觉
成像中的关键，提取质量直接影响三维重建精度[10]。本文基于FPGA提出一种鞋材扫描成像的光条提取算法，算法流程如图6所示，通过逐行读取图像信息，图像预处理、图像处理。
图像预处理包括高斯滤图6 FPGA光条提取算法流程波、中值滤波和膨胀滤波，主要作用是滤除图像的高斯噪声、椒盐噪声滤，消除高斯滤波与中值滤波对于边界灰度值的影响。根据光条算法，基于FPGA平台设计的光条提取电路如图7所示。
图像二值化过程采用固定阈值的方式，实现图像二值化预处理，为了克服噪点过大对灰度重心法的干扰，在图像二值化后对图像进行腐蚀与膨胀运算。通过计算二值化后图像每行灰度的重心来获取光条位置的坐标，利用坐标转换获得三维空间点。
基于FPGA内建光条提取系统可被抽象为5个模块，模块与模块之间的连接关系以及数据传输如图8所示。
节点1：表示AXI接口FPD模块通过总线，将ARM中DDR4所存的图片数据传输到读控制器缓冲FIFO的过程。
节点2：表示读控制器将图片数据从缓冲FIFO读出，并将其作为光条提取算法的数据输入的过程。
节点3：表示将光条提取算法的运算结果(光条水平位置)传输到写控制器缓冲FIFO的过程。
节点4：表示写控制器将缓冲FIFO中的运算结果写入片内BRAM的过程，最后ARM只需要通过AXI接口LPD模块就可以访问片内BRAM读取数据了。
2鞋面点云配准技术
点云配准技术是通过一定的算法或统计学规律，利用计算机计算两块点云之间的错位，达到两片点云自动配准效果，其实质是把在不同的坐标系中测量得到的数据点云进行坐标变换，以得到整体的数据模型。常用的配准技术有一对点云配准、对应估计、对应关系去除、变换矩阵估算、迭代最近点点位算法和采样一致性初始对齐算法等[11-12]。
2.1 ICP配准算法
在精匹配算法中，最近迭代点(Iterative Closest Point，ICP)算法是使用最广泛的算法[13]。ICP算法由Besl和Mckay在1992年提出，是一种基于自由形态曲面的匹配算法。ICP算法的目的是求得旋转变换R和平移变换T，使得目标点云经过R、T变换后能够与参考点云最大限度重合。ICP是基于最小二乘法的最优匹配算法，通过重复寻找最近点对、计算变换矩阵、应用变换矩阵的迭代过程，直到满足点云间距离和最小或其他限制条件(如最大迭代次数、距离和变化幅度)。
ICP算法的实现：已知目标点云P，坐标为{pi,i=1,2,…,np}，源点云Q，其坐标为{qi,i=1,2,…,nq}，按照一定的约束条件，找到最邻近点，计算最优的匹配参数R和T(R为旋转矩阵，T为平移向量)，通过式(1)计算误差函数E，使其最小。
ICP配准是一个不断迭代，直到收敛的过程。第k次迭代过程，寻找Q与点云P距离最近的点云，设其坐标为{Q,i=1,2,…,np}和{P,i=1,2,…,np}，由对应点计算Pk与Qk之间的变换矩阵Rk、Tk，并对点云Pk应用新变换，直到点云P和点云Q之间的平均距离小于给定值τ，即满足迭代收敛要求。具体迭代步骤如下：
若dk+1>τ，返回步骤(2)，直至dk+1<τ或者达到设置的迭代次数为止(k<mmax)，鞋面点云配送迭代流程如图9所示。
2.2基于配准算法鞋面轨迹提取技术
制鞋成型生产过程中，鞋面因材质、样式等，导致鞋面的款式复杂、多样，在实现自动化过程中变得更加复杂，如何结合3D视觉扫描实现不同款式的生产也是研究的关键问题，基于对配准算法的研究，提出一种鞋款模板提取方法，建立不同鞋款的模板数据，并通过配准纠正生产过程中的误差，以某鞋码为例，具体步骤如下。
(1)贴黑色美纹纸：将鞋面贴上一层黑色美纹纸，完全包裹整个鞋面。
(2)第一扫描鞋面：将贴好的鞋面，通过3D扫描测量系统，采集鞋面轮廓数据M，作为鞋面配准的点云模板数据。
(3)划线：将步骤(1)贴好的鞋面与同码鞋底进行贴合，沿着鞋底的轮廓，在鞋面上画出相应的轮廓线，轮廓线颜色必须与鞋面颜色保证较大的对比度。
(4)贴白色美纹纸：根据步骤(3)画出的轮廓线，沿着轮廓线，贴上白色美纹纸。
(5)第二次扫描：设置合适的扫描参数，使得扫描只成像白色美纹纸轮廓，采集相应的点云轮廓N，如图10所示。
(6)离线处理：由点云M、N，通过布尔运算，提取鞋面喷胶轨迹，通过噪点去除，姿态平滑等处理，最终得到鞋面喷胶视觉引导轨迹模板。
(7)配准修正轨迹：通过实时扫描鞋面轮廓，获取点云O，点云M与O进行配准获得配准矩阵，如图11所示，以此来修正步骤(6)提取的喷胶轨迹模板。如果实际视觉引导效果较差，重新回到步骤(6)，优化轨迹，直到达到生产要求。
3基于聚类算法的鞋底打磨轨迹提取
鞋底打磨轨迹提取技术的研究，基于本文研究的3D扫描测量系统，扫描获取鞋底的轮廓信息，提出基于聚类算法的打磨轨迹提取方法，具体步骤如下。
(1)鞋底扫描数据预处理，计算鞋底的中心点坐标，将该中心点坐标对应的法向量作为基准法向量V1。
(2)指定K值，对于鞋底点云，通过其K个近邻点计算其法向量V2，K的取值范围为：75≤K≤85，计算法向量V2与基准法向量V1的夹角θ，如式(4)所示。
(3)设定阈值θ1(25°≤θ1≤35°)，将小于θ1的坐标点组成点集A，将A作为鞋底底部的点云数据，。
(4)以L间距对鞋底侧边的点云进行等分分割，L的取值范围为：0.5mm≤L≤1.5mm，得到多个子点集，分别计算各子点集的最高点坐标和最低点坐标，最低点坐标群组成点集B，得到鞋底打磨的轨迹坐标。
(5)取各子数据的最高点坐标和最低点坐标的平均
值，并将平均值坐标组成点集C，计算点集C的面法矢，将面法矢的方向作为工具的Z向矢量，Cn到Cn+1的方向作为对应点集C内的第n个点的X向矢量，通过Z向矢量和X向矢量求出第n个点对应的Y向矢量，并根据X、Y和Z向矢量求出第n个点对应的工具姿态欧拉角。
计算工具姿态欧拉角：设X向矢量为(nx,ny,nz)、Y向矢量为(ox,oy,oz)和Z向矢量为(ax,ay,az)，通过式(5)计算工具姿态欧拉角RPY(ϕ,θ',φ)：
式中：c为余弦函数；s为正弦函数。
(6)计算每一个轨迹坐标与点集C中各点之间的距离，取最小距离的点所对应的工具姿态欧拉角作为该轨迹坐标对应的工具姿态，以此类推，遍历所有的轨迹坐标，得到鞋底打磨的轨迹路径，轨迹规划路径包括各轨迹坐标及其对应的工具姿态，打磨轨迹提取效果如图12所示。
4结束语
根据制鞋中段成型工艺研究，基于嵌入式、点云处理、光学测量等技术，设计并搭建了嵌入式制鞋成型测量系统，实现制鞋成型鞋材的三维重建；基于FPGA光条提取算法电路设计，提升了鞋材三维重建速率，也为后续HDR算法的实现做技术铺垫；鞋面点云配准技术的研究，提出基于ICP配准的鞋面喷胶视觉引导方法，解决鞋面款式复杂、多样等生产问题；通过聚类算法的研究，提出基于聚类算法的鞋底打磨轨迹提取算法，实时生成鞋底打磨轨迹，提升打磨效率。本文通过对面向制鞋成型的3D视觉关键技术研究，加快实现制鞋自动成型的步伐。
参考文献：
[1]黄群慧,贺俊.中国制造业的核心能力、功能定位与发展战略——兼评《中国制造2025》[J].中国工业经济,2015(6):5-17.
[2]佚名.运动鞋领域还有多少空间留给TPU[J].环球聚氨酯,2019(4):65-68.
[3]尹晓波,任顺邦.我国鞋业出口竞争力与增长方式的转变[J].理论探讨,2011(3):109-112.
[4]钟允晖.面向制鞋喷胶的机器人运动控制研究及其系统开发[D].杭州:浙江工业大学,2012.
[5]周阳.基于点云的鞋模喷胶三维视觉引导关键技术研究[D].黄石:湖北工业大学,2020.
[6]余凌波.基于线结构光的单目3D视觉机器人制鞋喷胶技术研究[D].武汉:华中科技大学,2019.
[7]吴趟.机器视觉3D成像及其测量技术研究[D].南京:南京理工大学,2020.
[8]李兰君,喻寿益.单点激光三角法测距及其标定[J].仪表技术与传感器,2003(10):49-49.
[9]蔡逸,刘常杰.激光三角法测距传感器的参数优化[J].传感技术学报,2017,30(10):1472-1477.
[10]顾益兰,李锋.基于线结构光的光条中心亚像素提取研究[J].电子设计工程,2017,25(21):148-151.
[11]陈琳.基于3D机器视觉的工业机器人跟踪涂胶系统[D].深圳:深圳大学,2020.
[12]邢礼源.基于3D视觉的运动鞋底信息提取研究[D].上海:东华大学,2021.
[13]申启访.面向鞋业智能制造的3D机器视觉研究与应用[D].广州:广东工业大学,2021.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/51484.html
