SCI论文（www.lunwensci.com）
摘 要：无影灯是手术过程中不可缺少的医疗器械,然而目前无影灯的位姿调节仍以人工直接操作为主,存在一定的卫生 风险且效率较低。针对这个问题,本文选用树莓派 4B 和 STM32F103 分别作为上位机和下位机的控制单元,设计一款用于指 示无影灯调节位姿的指示笔,采用 BLE 透传实现 MCU 与上位机的无线通信,实现了无影灯姿态的视觉引导。结果表明,该系 统在有效范围内位置精度误差最大不超过 2mm,方向误差最大不超过 2°。从发出采集图像指令到输出引导数据的反馈时间不 超过 1s,识别正确率不低于 95%,满足使用要求。
关键词：智能无影灯,视觉引导,系统设计,树莓派,无线通信
Design of Visual Guidance System for Shadowless Lamp Based on Raspberry PI
WU Qinghua, CAI Jinda, GE Heshe
(University of Shanghai for Science and Technology, School of Publishing, Printing and Art Design, Shanghai 200093)
【Abstract】： Shadowless lamp is an indispensable medical device in the surgical process, but at present, the position and posture adjustment of shadowless lamp is still mainly operated manually, which has certain hygiene risks and low efficiency. In response to this problem, this paper uses Raspberry Pi 4B and STM32F103 as the control units of the upper and lower computers respectively, designs a pointer pen for indicating the position and posture of the shadowless lamp, and uses BLE transparent transmission to realize wireless communication between the MCU and the upper computer, so as to realize the visual guidance of the shadowless lamp attitude. The results show that the maximum position accuracy error and the direction error of the system in the effective range is not more than 2mm. The feedback time from issuing the acquisition image command to the output of the guidance data does not exceed 1 second, and the recognition accuracy rate is not less than 95%, which meets the requirements of use.
【Key words】：intelligent shadowless lamp;visual guidance;system design;Raspberry Pi;wireless communication
0 引言
手术无影灯是用于实现手术部位无阴影照明的医疗 器械, 帮助外科医生分清病灶组织, 顺利完成手术 [1]。 目前无影灯位姿调节基本是人工操作,存在一定的卫生 风险及操作不灵活的问题 [2]。当需要调节无影灯照射姿 态时,若由护士操作,经常会为达到医生所期望位姿而 反复调整,既浪费时间,也易影响医生手术状态。若由 医生操作,虽然能够达到预期的理想位置,但易分散注 意力,影响手术进程。有时护士不得不长时间用手固定 无影灯,使其保持合适的姿态,增加了劳动负担。为了解决当前无影灯操作不便的问题,亟需提高无影灯操作 的自动化和智能化水平,本文研究的视觉引导为智能控 制无影灯提供了一种有效解决手段。
1 总体设计方案
引导系统硬件部分主要包括树莓派上位机、双目相 机模块,红外补光灯、反光球标记点、指示笔模块,数 据通讯模块,反光球标记点是为了提高指示笔特征,以 便通过这些特征点的坐标解算出指示笔的位姿数据。软 件部分主要包括图像采集、图像预处理、特征提取和匹 配、位姿解算、数据通信等功能。把无影灯臂视为具有自动控制的机械臂,无影灯位于机械臂的末端,机械臂 作为执行机构,视觉引导系统作为无影灯的感知器。
无影灯立体视觉引导系统解决方案的硬件系统框图 如图 1 所示, 采用一个 ARM 开发板为核心, 通过 USB 连接两个工业相机和一个 LED 显示屏。上电启动后, 由指示笔通过无线通信发送图像捕捉信号,通知开发板 执行两相机同步采集命令。再通过 USB 将图像数据传 输至开发板,将处理的结果显示在显示屏上,显示屏方 便在调试时直接观察结果。对于软件部分,总体工作流程如图 2 所示,采集图 像后,通过一系列图像处理得到特征点像素坐标,再结 合标定后的内外参数得到特征点空间坐标,接着计算出 指示笔位姿,并将其转化为灯头的目标位姿,完成引导 数据测量后,再将其发送至灯臂运动控制器,以便无影 灯灯臂控制器通过逆运动学算法计算出各个关节的旋转 变量,从而达到调节无影灯位姿的目的。
2 硬件设计
2.1 光学系统设计
光学系统主要包括工业相机、镜头以及光源等 [3],本 文选择基于索尼 IMX335 图像传感器的骆日 GT3300USB 免驱工业相机,其镜头为无畸变镜头,畸变率较低,光 学接口为 M12.数字接口为 USB3.0.此外,为了提高 指示笔目标特征,选用 850mm 波段的红外窄带滤波镜 头,以便过滤大部分环境可见光噪声,并配合同一波段 的红外补光灯,采用照明方向与相机光轴平行,使得特 征点成像效果最佳 [4]。红外 LED 灯直接与相机通过机械结构连接,如图 3 所示。
2.2 视觉引导模块设计
指示笔作为引导模块的核心,其作用是指示医生想 要照射位置和角度,所以需要通过测量指示笔的位姿间 接得出目标照射位姿。考虑到指示笔是刚体结构,故可 以通过指示笔上标记点解算出指示笔在空间点三维坐标 信息。为了增强指示笔的外观特征,在指示笔两端安装 两个红外反光球作为标记点,其表面是一种高反光率的 材料。使用红外光源照明时,可以避免环境中可见光以 及手术器械、衣服及人体等对特征点提取精度的影响, 有效提高特征点三维坐标测量精度和指示笔位姿解算精 度 [5]。为了区分指示笔的方向, 两个反光球尺寸不同, 大球球心作为指示笔坐标系原点, X 轴正方向指向小球 球心,根据使用需求设计指示笔结构如图 4 所示。
指示笔笔身有两个按钮和两个状态指示灯,其中 一个按钮作为开关,按下开关后会通电并开启广播等 待蓝牙连接 ;另一个按钮作为发送采集图像指令。一 个指示灯指示蓝牙连接状态,另外一个用作发送采集 图像指令后,显示反馈信息,表示上位机是否采集成 功。指示笔控制电路如图 5 所示,整个电路板尺寸仅 为 10mm×60mm, 主要包括 电源模块、 复位 电路、 MCU 单元、蓝牙模块、烧录电路、按键及指示灯电路。
2.3 数据通信设计
本系统采用蓝牙通信方式,其上位机为树莓派板载 蓝牙,下位机选用鹏为物联的 PW02 型号的低功耗蓝 牙 5.0 模块, 主控芯片采用德国 Dialog 公司 DA145 蓝 牙芯片。MCU 与蓝牙模块引脚连接如图 6 所示, MCU 的 PA0 和 PA1 分别连接一个按钮, PA0 代表的是模块 启动等待上位机与其蓝牙连接, PA1 代表的是发送采集指令。蓝牙模块有 12 个引脚,其中 ANT 为天线引脚, RST 为模块复位引脚,连接 MCU 的输出引脚 PA7.高 电平有效,当需要重启 PW02 蓝牙模块时,通过 PA7 输出高电平保持 500ms,然后再输出低电平,模块即 可复位。P05 和 P01 分别为蓝牙模块的串口接收端和 发送端引脚。P02 输出连接状态, 0 表示已连接, 1 表 示未连接。P03 引脚用来控制模块进入低功耗睡眠状态或进入工作状态,下降沿 1 → 0 ：模块使能,正常工作 状态,可以接收主机数据,并通过射频发出去 ;上升 沿 0 → 1 ：模块睡眠,进入低功耗状态,此时模块不可 发送蓝牙数据,但模块可以接收蓝牙数据并从串口 TX 脚发给主机,且仍会每 600ms 广播一次,可以被发现并连接。蓝牙串口配置参数为 ：波特率 9600.无校验, 数据位 8.停止位 1[6]。
3 软件设计
本系统主要是帮助灯臂运动控制器获得医生指示的 位姿信息,根据功能需求,树莓派主机端程序设计流程 图如图 7 所示。当系统上电开始工作后,首先加载操作 系统并运行视觉引导系统程序,初始化相机并开启,与 灯臂运动控制器建立串口通信,开启蓝牙扫描周围设 备,通过蓝牙模块广播名 PW02 和配对码进行配对连 接,配对失败输出提示信息 ;初始化完毕后等待指示笔 发出捕捉信号,一旦接收到捕捉信号立即对双目相机同 时采集图像,接着进行一系列图像处理来实现目标提 取,然后通过立体匹配得到标记点的三维坐标,再根据 刚体运动学得出指示笔的位姿,最后计算出灯头的目标 位姿数据并输出给灯臂运动控制器。
指示笔作为下位机,主要用来发射捕捉图像的信号,端程序设计流程图如图 8 所示。上电之后先使蓝牙 模块复位,然后开启广播等待上位机扫描对接。连接成功后状态灯亮,接着等待按键外部中断,若捕捉键按下则通过蓝牙模块向上位机发送捕捉图像信号,并等待回 复确认信号,收到确认信号后即完成一次按键指令。
4 指示笔位姿计算
指示笔位姿表示为指示笔轴向中心线矢量在引导系 统坐标系下的指向向量。设术野区域指示笔小球和大球 的两个特征点命名为 P1 和 P2.两特征点在引导系统坐标系下的坐标分别为 Pg1(Xg1.Yg1.Zg1) 和 Pg2(Xg2.Yg2.Zg2)。 用 Tbs 和 Rbs 表示无线指示笔轴向矢量在引导系统坐标系 中的位姿。将指示笔大球球心定义为指示笔轴向矢量起点, 小球球心定义为终点,则平移向量 Tbs 如式(1)所示 ：Tbs=[Xg2Yg2 Zg2]r (1)
设指示笔轴向矢量绕引导系统坐标系的三坐标轴的 旋转角度分别为 θX、θY、θZ,逆时针方向为正,由于指示 笔轴向截面和灯面为圆形,故绕中心轴旋转不影响光照 效果,可设 θZ=0.其余两角度则可通过如式(2)所示可 以求得 ：
将姿态从三角度表示法转换为旋转矩阵表示法,可 得到 Rbs。设 Toff 为灯头光束矢量起点与指示笔的偏移 量,它是一个模数不变,方向与指示笔轴向矢量方向相 同的矢量,设运行时无影灯光束矢量的目标位姿为 Vt , 可得到如式(3)所示 ：
Vt=Rbs+Tbs+Toff (3)
设无影灯灯臂坐标系为 OA-XA YAZA ，测量坐标系到 无影灯灯臂坐标系的平移向量和旋转矩阵为 RWA 和 TWA。 则灯头目标位姿在灯臂坐标系下表示为如式(4)所示 ：
Vt'=RWA (Rbs+Tbs+Toff)+TWA (4)
5 实验与分析
5.1 特征点定位重复性实验
固定无影灯视觉引导系统的双目相机,把指示笔放在支架上,并在两相机公共视场内移动位置,分别提取 轮廓和形心坐标,并与真实形心坐标进行对比。其特征点像素坐标 u 轴和 v 轴坐标误差如图 9 所示。由图可知 最大误差值不超过 1.16 像素,且定位误差波动的标准 差为 0.6188.特征点像素坐标定位重复性好,可以满足测量需要。
如表 1、表 2 所示分别为有无干扰情况下目标特征点匹配结果,正确率高于 95%。
5.2 指示笔位姿识别精度实验
布置指示笔位姿测量实验环境如图 10 所示,双目 视觉采集模块安装在铝合金框架上方横梁中央固定位置 上。先按方位序号依次进行 9 个水平方位实验,方位序 号布局如图 11 所示。然后按照指示笔与相机垂直距离 进行 4 组实验, 其中距离分别为 1.1m、1.2m、1.3m、1.4m。每一个空间位置设置指示笔的倾斜角度范围为 0°~ 30°,间隔 5°分别进行测试,同一位置的误差结果 取不同角度结果的均值。
以 API T30 激光跟踪仪测量结果作为基准值,把无 影灯引导系统位姿测量值与 API 测得的静态指示笔位姿 实际值进行比较得到误差值。对不同方位的结果误差进 行分析,保持垂直距离为 1.1m,按方位序号依次进行 实验,部分实验数据如表 3 所示。位置和姿态误差总体 均值分别为 0.78 和 0.705. 方差总体均值分别为 0.087 和 0.118.总体精度在设计要求范围内。
无影灯引导系统在 1100mm、1200mm、1300mm、 1400mm 距离时的位姿测量误差如表 4 所示。分析数 据可知,高度对测量精度有一定影响,且距离越近时精 度越高, 在 1100mm ~ 1400mm 范围内位置误差小于 2mm,姿态误差小于 1.5°满足无影灯调节定位技术指标。
实验中随机选取部分位姿测量中耗时数据如图 12 所示,无影灯视觉引导系统反馈时间在 0.3s 上下波动, 最长不超过 0.35s,满足实时性要求。
6 结论
本文选用树莓派 4B 和 STM32F103 分别作为上位机 和下位机的控制单元,设计了一款用于指示无影灯调节 位姿的指示笔,采用 BLE 透传实现 MCU 与上位机的无 线通信,实现了无影灯姿态的视觉引导。该系统在有效 范围内位置精度误差最大不超过 2mm,方向误差最大不 超过 2°。从发出采集图像指令到输出引导数据的反馈时间不超过 1s,识别正确率不低于 95%。可用于解决临床中 无影灯的位姿调节问题,减轻医护人员的工作负担。
参考文献
[1] IDE T,KINUGAWA Y,NOBAE Y,et al.LED Light Characteristics for Surgical Shadowless Lamps and Surgical Loupes[J].Plast Reconstr Surg Glob Open,2015.3 (11):562.
[2] 新华医疗手术无影灯[J].中国医疗器械信息,2019.25(19): 180.
[3] 何安迪.基于机器学习的位置误差校正补偿方法研究[D].哈 尔滨:哈尔滨工业大学,2020.
[4] 吴贤权.基于多目视觉的定向天线位姿测量方法研究[D].天 津:天津大学,2018.
[5] 葛合社.基于立体视觉的智能无影灯引导系统研究[D].上海: 上海理工大学,2018.
[6] 黄飞龙,黄海莹,何艳丽.基于STM32的气象数据在线监测仪 设计[J].计算机测量与控制,2018.26(11):288-292.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/61299.html
