SCI论文（www.lunwensci.com）
摘要：碳浆点印是触摸屏生产中的关键工艺， 针对触摸屏碳浆点印的质量控制难题， 设计了一种带有机器视觉在线检测功能的触 摸屏碳浆点印设备。采用高像素的 CCD 相机配合LED 光源并基于 Halcon 软件设计相应的视觉检测算法， 用于获取触摸屏和碳浆点 的清晰图像; 配合使用真空吸附机械手、精密移动平台、点印机构， 结合机器视觉对触摸屏的位置判断， 实现碳浆的精准点印; 由机器视觉系统识别并检测点印后碳浆点的形状、大小、位置等参数， 在线识别出有缺陷的产品， 并由机械手自动剔除次品， 最 终实现触摸屏的高效、高质量智能化点印生产。试验结果表明， 该设备每分钟能够完成 15 片触摸屏的碳浆点印， 机器视觉检测碳 浆点的平均错检率为 0.05%， 最终触摸屏点印碳浆半成品的良品率高于 98%。
关键词：触摸屏,碳浆点印,机器视觉,在线检测,Halcon
Design of Touch Screen Carbon Paste Dot Printing Equipment Basted on Machine Vision Inspection
Zhan Qianxian1. Li Zhilai2 ※， Shen Yi1. Lin Dianqin3. Chen Zekang2. Wang Shuangxi2
( 1. Shantou Goworld Display Technology Co., Ltd., Shantou, Guangdong 515044. China; 2. College of Engineering, Shantou University,
Shantou, Guangdong 515063. China; 3. Shantou Light Industry Equipment Research Institute, Shantou, Guangdong 515061. China)
Abstract: Carbon paste dot printing is one of the key technologies in touch screen production . Aiming at the carbon paste dot printing quality control, a kind of carbon paste dot printing equipment based on machine visiononline detection was designed . High-pixel CCD camera and LED light source as well as the corresponding algorithm based on Halcon software were used to obtain the high-definition images of touch screen and carbon paste dots. Cooperating with vacuum adsorption manipulator, precision sliding platform and dot printing mechanism, combined with the machine vision to judge the position of touch screen, accurate dot printing of carbon paste was realized, At the same time, the machine vision system identifies and detects the shape, size, position and other parameters of carbon paste dots after dot printing, and identifies defective products online, the defective touch screen products were automatically rejected by the manipulator . The equipment realized the high-efficiency, high-quality intelligent dot printing production of the touch screen . The test results show that 15 touch screens couldbe printed per minute. The error detection rate of the machine vision inspection system is less than 0.05%. The qualified rate of the semi- finished touch screen with carbon paste dot is higher than 98%.
Key words: touch screen; carbon paste dot printing; machine vision; online detection; Halcon
0 引言
触摸屏作为一种新型的人机交互设备， 可以在显示 屏终端显示用户所需的图像， 用户通过手指触摸屏幕上 的特定区域， 产生输入信号实现对计算机的控制。触摸 屏主要分为电阻式触摸屏、电容式触摸屏、表面声波式 触摸屏及红外线式触摸屏[1]。以投射式电容屏为例， 其 主要由一层玻璃基板、两层 ITO 导电层和一层玻璃保护 层组成[2]。实际上触摸屏每一层的结构和制备工艺都很 复 杂， 而 且 精 度 要 求 极 高 。 在 完 成 ITO 层 感 应 基 板 ( ITO Sensor) 丝网印刷电路后， 需要在电路的管脚位置 处点印导电碳浆， 这个工序叫做碳浆点印。导电碳浆是一种基于热塑性或热固性树脂形成的粘稠浆状物， 主要 包含碳微粒非金属导体[3]， 其主要具有保证印刷电路的 正常运行、管脚安装的润滑、防止胶水渗入管脚和 ITO 膜等作用。碳浆点印一般由专门的碳浆点印机完成， 要 求精度高， 需要保证浆点的形状、大小、位置、厚度等 多方面因素。碳浆点印后， 一般由人工完成检测工作， 由于长期暴露在高亮度的检测环境中， 工人易产生视觉 疲劳， 导致产品的误检漏检。机器视觉光学检测是目前 比较热门的检测技术， 具有检测速度快、精度高、检测 准确率高等优点[4]。郑相立[5]等开发了一种双工位玻璃贴 片 AOI 系统， 能够在 200 ms 内实现玻璃贴片的高精度检测， 极大地提高了检测效率; 罗根[6] 等设计了一种基于 最小二乘法的手机屏幕玻璃尺寸检测及崩边评价方法， 利用层次凝聚聚类算法准确的获得了崩边位置和崩边大 小; Chuan xiaJian[7]等采用基于轮廓的配准 (CR) 方法生 成用于对齐 MPSG 图像的模板图像， 采用减法和投影 ( CSP) 的组合来识别 MPSG 图像上的缺陷， 建立了手机 触摸屏缺陷检测系统; Changsheng Li[8]等提出一种感兴趣 区域 (ROI) 采集算法， 提出了一种结合多层感知器 ( MLP) 和深度学习 (DL) 技术的分类算法， 其方案在 检测手机屏幕的划痕、飞蚊症、浅色污渍和深色污渍方 面均达到满意的性能; 林典钦[9] 等研发了一种基于机器 视觉的车载触摸屏面板模组检测系统， 通过对比标准灰 度模型、建立灰度值和透过率转换关系、支持向量机分 类等技术， 实现多种缺陷的动态识别和玻璃屏任一点的 透过率在同一台 CCD下的测定。由于触摸屏对碳浆点印 的形状、位置、大小等要求很高， 目前的碳浆点印设备 难以满足触摸屏生产的高良品率要求， 急需一种具有在 线质量检测功能的触摸屏碳浆点印设备。
本文针对触摸屏的碳浆点印的质量控制难题， 设计 了一种基于机器视觉的碳浆点印设备， 可以在线完成对 点印后的碳浆点的形状、位置、大小等参数检测反馈， 配合分拣机械手， 及时剔除次品。设备平均每分钟完成 15 片触摸屏的碳浆点印和碳浆点的质量检测， 机器视觉 检测碳浆点质量的错检率小于 0.7%、设备生产的触摸屏 半成品的最终良品率高于 98%， 实现了触摸屏点印碳浆 的高质量、高效率智能化生产。
1 具有碳浆点质量监测功能的点印设备设计
基于视觉检测的触摸屏碳浆点印设备需要同时完成 对触摸屏的碳浆点印加工和碳浆点的质量检测工作， 并 自动剔除不合格产品。该点印设备包括上下料机构、移 动平台、点印机构、机器视觉检测系统和控制系统。工 作流程分为五个部分： 上料、对位、点印、检测和分拣。
点印设备的移动平台采用 C5 等级的精密研磨滚珠丝 杆[10]， 导向形式上采用精密级直线导轨副， 配合伺服电 机驱动和伺服控制技术， 使移动平台在运行过程中一方 面消除了机械零件间隙导致的位置误差， 另一方面减少 了驱动控制输入的信号误差; 配合使用高速分拣机械手 结合真空吸附技术搬运触摸屏[11]， 实现对触摸屏的上料 工作， 并按照机器视觉检测结果对触摸屏点印半成品进 行分拣。可调节的移动平台和机械手适应于多种厚度和 尺寸的触摸屏玻璃， 有效提高点印设备的工作效率。
触摸屏碳浆点印流程包括： 带有真空吸附装置的机 械手抓取触摸屏玻璃， 由移动平台运输到指定位置后; 相机获取触摸屏碳浆点印前的位置图像并传送至计算机 处理， 判断触摸屏是否处于正确的位置， 并将相关信息 反馈给移动平台进行矫正， 由点印机构在对应位置点印碳浆; 碳浆点印后， 相机对触摸屏碳浆点的位置进行二 次图像采集， 并由计算机对图像进行处理， 利用 Halcon 和 Visual studio 软件， 结合相应的算法， 完成对采集图像 的检测处理， 识别不合格的碳浆点， 由分拣机械手剔除 不合格产品。
本设备的机器视觉在线检测系统， 选用 LED 灯作为 光源， 配合两路编码光源控制器， 采用同轴照明的方 式 [ 12- 13]， 配合使用 KOWA LM25JC5M5 镜头和 Sony DSC- T1 的 500 万像素 CCD相机。在对触摸屏进行碳浆点印 前， 通过采集合格产品图像实现检测系统的机器自我 学习， 建立包含触摸屏碳浆点印的正确位置、管脚和 碳浆点的距离、碳浆点的大小、位置、形状等参数的 数据库。
2 机器视觉检测功能开发
2.1 图像采集
采用 30 mm×30 mm 的标准标定板， 拍摄标定板 20 个 不同位置、姿态、距离等图片， 利用 Halcon 中的标定助 手 calibration， 得到相机的内外参数[14]。根据采用的 Sony DSC-T1 500 万像素 CCD 相机， 调节 Halcon 中image ac ⁃ quisition interfaces 相 应 的 采 集 算 子， 然 后 接 入 Direct Show 图像获取接口， 通过相机实时拍摄视频， 由瞬时采 集得到所需要的图像。然后利用 VC++中的 MFC 基于对 话框混合编程， 获取用于机器视觉检测的最终图像。具 体做法是， 将 Halcon 中读取到的由相机采集到的图片， 导出为 C++—Halcon 格式并保存; 利用VC++新建 MFC 程 序， 插入按钮控件和图片控件， 并在 C++中配置 Halcon 的相关环境; 添加响应函数后， 导入 C++—Halcon 格式 的文件， 编译通过后， 在 MFC 对话框中显示所需要处理 的图像， 从而实现对实时画面的捕捉。
2.2 触摸屏点印定位
在对触摸屏进行碳浆点印前， 相机会拍摄触摸屏在 移动平台上的位置， 并由计算机判断其是否处在正确的 位置上。检测的原理： 在计算机学习的过程中， 人为标 定检测的感兴趣区域 (Region of Interest， ROI)， 在图像 中画出水平线， 并且找出两个管脚最外侧的垂直线， 如 图 2 (a) 所示。得到的 3 条线段表示 3 个感兴趣区域。利用Halcon中的intersection算子求得两个区域的交集， 再运用get_region_points算子获得交点的坐标信息。为了方 便观察， 用 gen_cross_contour_xld 算子在图 2 (b) 中标出。 计算机根据交点信息对触摸屏进行点印前的定位识别， 并由移动平台作出调整， 随后由点印机构进行碳浆点印。
2.3 碳浆点的质量检测
碳浆点印后， 相机对触摸屏进行第二次图像采集。 目的是为了检测碳浆点的质量是否符合要求， 以便于接 下来机械手的分拣操作。首先要在图像中识别出每个碳 浆点， 并且定位碳浆点的位置， 再判断其质量是否合格。 2.3.1 碳浆点形状及大小的检测在触摸屏上完成碳浆点印后， 采集的图像如图 3 所 示， 可以很清晰地看出黑色碳浆点的位置， 与周围图像 的区分度很高。
图 3 所示中总共有 6个碳浆点， 它们都近似圆形， 所 以用圆形来代替碳浆点的特征。根据碳浆点区域具有圆 形的特点， 利用 select_shape 算子， 选择圆度在 0.5~1 之 间， 半径为额定值以上的区域， 最终保留 6个碳点所在 的区域。如果采集到的个数少于或者多于 6 个， 则说明 碳浆点的形状和大小存在缺陷， 为残次品， 由计算机做 出相应反馈并及时分拣。
2.3.2 碳浆点位置的检测
将采集到的 6个碳浆点， 用 sort_region 算子给它们编 上号码进行排序， 在区域内从左到右序号依次标为 1~6. 排序完后， 将各个独立的碳浆点区域拟合成独立的圆形， 利用 smallest_circle 算子再获得圆形的圆心和半径， 即可 获得碳浆点在图像中的位置。将 6 个碳浆点的圆心坐标以及半径， 以数组的形式分别储存在 centerRow 、center⁃ Column 、Radius 中。得到每个碳浆点在图像中的位置信 息后， 为了进一步判断其在触摸屏上位置的正确性， 本 文通过计算每个碳浆点到管脚的距离， 与额定距离比较 来判断碳浆点的位置是否合格。
提取管脚的位置信息时， 同样对图像进行二值化处 理。与碳浆点识别不同的是， 管脚只需要图像的边缘信 息。因此， 在图像二值化之前， 除了选取感兴趣区域 ROI 外， 还要对 ROI 进行边缘检测[15]利用 sobel_amp 算子 实现边缘检测， 处理后的图像如图 4 (a) 所示。得到 管脚的边缘后， 从中提取出水平线， 在根据水平线提取 出管脚外延的垂直线。得到所需的管脚边界信息。如图 4 (b) 所示。
通过比较每个拟合圆形的圆心到边界的距离。将测 得的数据与计算机学习时设定标准值进行比较， 超出范 围的碳浆点即判定为碳浆点位置不合格。
3 设备调试结果
基于机器视觉的触摸屏碳浆点印设备如图 5 所示。经过现场调试后， 该设备生产的触摸屏碳浆点印半成品有着极高的碳浆点印合格率。由于采用了自动上下料和机器视觉在线检测反馈， 基于机器视觉的触摸屏碳浆点印设备有很高的生产效率， 平均每分钟 可 以 点 印 15 片 触 摸 屏，并将检测结果及时反馈给机械手剔除残次品。
利用该设备对不同批次的触摸屏进行碳浆点印试验， 并由人工对检测系统判定为良品和次品的触摸屏进一步 复查， 如表 1 所示。结果表明 3 次试验中检测系统对碳浆 点的质量检测错检率分别为 0. 1% 、0.0% 、0.05%， 平均 错检率为 0.05%; 基于机器视觉的触摸屏碳浆点印设备生产的触摸屏半成品的最终良品率高于 98%。一台设备 的生产效率相当于 4个技术熟练的工人。
4 结束语
针对触摸屏碳浆点印质量的控制问题， 本文利用 Halcon及 Visual studio软件联合开发了基于机器视觉的触 摸屏碳浆点印设备。本文将真空吸附机械手、精密移动 平台、点印机构以及机器视觉检测结合在一起， 实现对 触摸屏的碳浆点印及质量在线检测。通过对触摸屏上辅 助点的定位识别， 实现碳浆的精准点印; 通过对图像处 理， 识别并提取出碳浆点的形状、大小和位置以及管脚 的位置， 通过对比后， 判断碳浆点的点印质量; 并由高 速分拣机械手实现对不合格产品的剔除。设备平均每分 钟完成 15片触摸屏的碳浆点印， 机器视觉检测碳浆点印 的平均错检率为 0.05%， 基于机器视觉的触摸屏碳浆点 印设备生产的触摸屏半成品的良品率高于 98%， 具有广 阔的市场应用前景。
参考文献：
[1] Walker G. A review of technologies for sensing contact location on the surface of a display[J]. Journal of the Society for Informa⁃ tion Display, 2012. 20(8): 413-440.
[2] 王承遇 ,卢琪 ,陶瑛 . 触摸屏手机玻璃面板的性能与制备(二) [J]. 玻璃与搪瓷, 2012. 40(6): 28-31.
[3] 李金焕, 陆建辉, 王玉丰,等 . 导电油墨及纳米导电粒子在其中 的应用研究进展[J]. 电子元件与材料, 2014. 33(5): 12-16.
[4] 朱云, 凌志刚, 张雨强 . 机器视觉技术研究进展及展望[J]. 图学学报, 2020. 41(6): 871-890.
[5] 郑相立, 林典钦, 郑卓韬, 等 . 基于机器视觉的双工位玻璃贴 片 AOI 系统设计[J]. 机电工程技术, 2020. 49(7): 100-101.
[6] 罗根,倪军 .基于机器视觉的手机屏幕玻璃尺寸检测及崩边评 价[J]. 电子测量与仪器学报, 2018. 32(2): 92-96.
[7] Chuanxia Jian, Jian Gao, Yinhui Ao. Automatic surface defect de⁃ tection for mobile phone screen glass based on machine vision[J]. Applied Soft Computing, 2017(52): 348-358.
[8] Changsheng Li, Xianmin Zhang, Yanjiang Huang, et al. A novel algorithm for defect extraction and classification of mobile phone screen based on machine vision[J]. Computers & Industrial Engi⁃ neering, 2020(8): 106-113.
[9] 林典钦, 詹前贤, 郑卓韬, 等 . 车载触摸屏面板模组机器视觉 检测系统开发[J]. 电子测量技术, 2022. 45(13): 153-158.
[10] 周志红, 文怀兴, 杨东生 . 滚珠丝杆安装方式的研究[J]. 制造 业自动化, 2007(6): 68-69.
[11] 司震鹏, 曹西京, 姜小放 . 真空吸附式机械手系统设计[J]. 包 装与食品机械, 2009. 27(6): 26-30.
[12] 朱宝伟 . 机器视觉中的光源照明设计[J]. 电子科技, 2013. 26 (3): 80-82.
[13] 时长阔 . 面向机器视觉的数字化 LED 光源控制器[D]. 广州 : 华南理工大学, 2010.
[14] 覃小丽, 李明枫, 李晓飞,等 . 基于 HALCON 的 SCARA机械手 视觉分拣软件设计[J]. 自动化应用, 2019(2): 86-87.
[15] 金灿 . 基于 HALCON 的印刷图像质量检测技术研究[D]. 长 沙:中南大学, 2013.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/57913.html
