SCI论文（www.lunwensci.com）:
摘 要 ：眼底视网膜血管分割在多种类型眼科疾病的评估和诊断中起着重要作用。由于眼底图像中血管的拓扑结构复杂多 变,现有算法通常存在分割结果中血管特征不连续以及血管边缘分割准确度不高的问题。针对上述问题,本文提出一种用于视 网膜血管分割的多尺度全局注意力 U 型神经网络 MSGA-UNet。该网络一方面通过全局特征注意力模块从编码器中较为容易地 获得图像的全局表征信息,解决眼底视网膜血管分割中特征不连续的问题 ；另一方面利用多尺度空洞卷积模块,利用不同膨胀 率的空洞卷积扩大感受野并获取图像的多尺度局部特征信息,从而提升血管边缘信息的提取能力。经过在 DRIVE、STARE 和 CHASEDB1 数据集上的实验, MSGA-UNet 的平均交并比分别为 74.06%、78.22% 和 79.62% ；类别平均像素准确率分别为 80.39%、84.60% 和 85.53% ；精确度分别为 96.32%,96.42% 和 97.23% ；综合分割性能优于其他模型。
关键词 ：医学图像分割,视网膜血管,U 型网络,Transformer,注意力
AU-shaped Retinal Vessel Segmentation Network Based on Multi-scale Global Attention
MAWenjing, WANG Xuejin, XING Shuli, MAO Guojun
(Key Laboratory of Big Data Mining and Application in Fujian Province, Fujian University of Technology,Fuzhou Fujian 350118)
【Abstract】：Retinal vessel segmentation plays an important role in the evaluation and diagnosis of many types of ophthalmic diseases. Due to the complex and variable topological structure of blood vessels in fundus images, existing algorithms often suffer from discontinuous vascular features in segmentation results and low accuracy in vascular edge segmentation.In response to the above issues, this paper proposes a multi-scale global attention U-shaped neural network MSGA-UNet for retinal vessel segmentation. On the one hand, this network easily obtains the global representation information of the image from the encoder through the global feature attention module, solving the problem of feature discontinuity in retinal vessel segmentation of the fundus; On the other hand, utilizing multi-scale dilated convolution modules, dilated convolutions with different dilation rates are used to expand the receptive field and obtain multi-scale local feature information of the image, thereby improving the ability to extract vascular edge information. After experiments on the DRIVE, STARE, and CHASEDB1 datasets, the average intersection to union ratios of MSGA-UNet were 74.06%, 78.22%, and 79.62%, respectively; The average pixel accuracy of each category is 80.39%, 84.60%, and 85.53%, respectively; The accuracy is 96.32%, 96.42%, and 97.23% respectively; The comprehensive segmentation performance is superior to other models.
【Key words】：medical image segmentation;retinal blood vessels;U-shaped network;Transformer;attention
0 引言
眼底视网膜分割是医学图像分割的一项重要任务, 在 多种类型眼科疾病的评估和诊断中起着重要作用。例如, 医生可以通过眼底视网膜图像筛查糖尿病型视网膜病变 及青光眼、高血压等眼科疾病 [1,2]。然而,在目前的临床实践中,通常需要依靠人工对视网膜血管进行手动标 注,这对医生的专业技能要求很高,且费时费力 [3]。因 此,从眼底视网膜图像中快速准确地分割出血管来辅助 医生进行检查诊断是目前眼科医学的重要工作之一。
近年来,深度学习在医学图像处理中有较好的表现,许多基于深度学习的视网膜图像分割算法被提出。 Ronneberger 等人 [4] 提出的编解码结构 U-Net 是目前 医学图像分割领域的流行网络结构之一,该方法在全卷 积网络 [5] 的基础上,利用编解码结构中的跳跃连接,将 编码器生成的图像特征与解码器重建的分割结果连接起 来,缓解了由于池化操作导致的多尺度细节特征丢失问 题。在此基础上, Xu 等人 [6] 将 Dense-Net 中的稠密连 接引入 U 型网络结构以增强特征的传播能力,从而更 精确地提取血管特征。Zhang 等人 [7] 利用独特的注意 力门控机制,实现对各种形状和尺寸的目标结构进行有 效监控。Xiao 等人 [8] 通过引入加权注意力机制,大大 改善了 U-Net 模型的性能,使其能够更准确地识别出 视网膜血管和背景像素的差异。Li 等人 [9] 提出了一种 逐步细化分割结果的策略,通过级联多个 U-Net 模型, 将前一个 U-Net 的输出作为后一个 U-Net 的输入,以 逐步迭代修复血管分割中的不一致性。Tomar 等人 [10] 通过对网络中不同尺度的特征使用注意力机制,捕获图 像样本中的可变性。Liu 等人 [11] 设计了一个特征聚合 模块并将其嵌入到每个卷积块之前,通过聚合来自上下 采样的特征图,有效提取多尺度的上下文信息。然而, 由于眼底图像中血管的拓扑结构复杂多变,上述算法通 常存在分割结果中血管特征不连续以及血管边缘分割准 确度不高的问题。
针对现有的视网膜分割算法中存在的问题,本文提 出了一种用于视网膜血管分割的多尺度全局注意力 U 型神经网络 MSGA-UNet。具体而言,该网络主要有 2 个特点 ：（1）设计了全局特征注意力模块,该模块可以 在编码器中较为容易地获得图像的全局表征信息,解决 了眼底视网膜血管分割中的特征不连续问题 ；（2）引入 了多尺度空洞卷积模块,利用不同膨胀率的空洞卷积扩 大感受野并获取图像的多尺度局部特征信息,从而提升 血管边缘信息的提取能力。
1 视网膜血管分割网络
1.1 总体网络结构
本文针对视网膜血管分割任务设计了一种全新的深 度神经网络模型,名为 MSGA-UNet。模型总体结构图 如图 1 所示,该网络是一个由编码器、解码器、全局特 征注意力模块（M1）以及多尺度空洞卷积模块（M2） 组成的 U 型网络结构。其中,编码器用于提取原始图 像中的目标特征,而解码器用于对编码后的特征进行还 原以匹配分割图像。全局特征注意力模块通过整合特征 图像中的全局信息更好地捕获像素之间的长距离依赖关 系,从而缓解分割结果中血管特征不连续的问题。多尺度空洞卷积模块利用不同膨胀率的空洞卷积学习不同粗 细血管的特征信息,以提高模型对于血管边缘分割的准 确率。
1.2 全局特征注意力模块（M1）
传统的 U-Net 使用卷积操作进行特征提取,通常需 要堆叠多层才能较好地捕获图像中目标物体的全局信息, 增加了网络优化的难度。为了解决此问题,本文在编码器 的最后一层引入全局注意力模块。模块结构图如图 2 所 示。该模块由一个嵌入层和三个自注意力层组成,嵌入层 将图像特征转换为序列, 自注意力层使用矩阵乘法操作 计算特征图像中每一个像素点与其他所有像素点的相关 性,以此捕获全局信息。Transformer 层主要由多头自注 意力 MSA(Multi-headed Self-Attention) 和多层感知机 MLP(Multi-layer Perception) 两个部件构成。假设第 l(l=1,2,3) Transformer 层的输出为 kl,其计算公式如式（1）、式（2）所示 :
其中, MSA( · ) 表示多头自注意力, MLP( · ) 表示多层感知机, LN( · ) 表示归一化处理。对于 MSA 而言, 将其输入定义为 xMSA,大小为 N×D。MSA 模块由自注 意力机制和全连接层组成,其中,自注意力机制 M 由 3 个变换矩阵组成 ：查询变换矩阵 WQ ∈ RN×d 、键变换矩 阵 WK ∈ RN×d 和值变换矩阵 WV ∈ RN×d,其中 d 为输出 维度。自注意力机制 M 的输出公式如式（3）所示 ：
该公式通过 softmax 函数计算特征图中所有位置 之间全局空间关系的权值,并采用矩阵乘法将图像中所 有位置的特征进行融合。
1.3 多尺度空洞卷积模块（M2）
众所周知,多样化的卷积感受野能有效提取图像多 尺度的局部信息。目前,大部分方法采用池化操作或者通 过改变卷积核的大小来扩大感受野。但不可避免的是,最 大池化操作会导致局部空间信息的丢失, 而使用大尺寸的 卷积核会导致模型复杂度增加。空洞卷积可以在不增加模 型参数量的情况下扩大感受野范围,因此在血管分割任务 中得到了广泛的应用。鉴于血管存在粗细不均的问题,因 此,使用多尺度的卷积核可以有效地适应血管的粗细变 化。受上述启发,本文在残差连接中引入了多尺度空洞 卷积模块（M2）。该模块由一个空洞卷积层和一个映射层 组成。空洞卷积层通过级联三种不同尺寸的空洞卷积获 取多尺度的局部特征信息, 映射层通过 1×1 卷积 (Conv 1×1)、批归一化处理 (BN) 和 Sigmoid 函数生成空间权 重图,突出关键区域和局部细节。
如图 1 和图 3 所示,将编码器的特征 xE 作为 M2 模块的输入。为了提取多尺度局部特征,该模块通过级 联空洞卷积的方式形成三条卷积路径,这三条路径以不 同的膨胀率 N 嵌入空洞卷积,每条路径都拥有独特的 感受野,从而可以获取多尺度局部特征信息。
该模块通过逐元素相加的方法将三条路径的输出融合为 D,如式（4）所示 ：
其中, dcN( · ) 表示膨胀率为 N 的空洞卷积。
1.4 损失函数
联合交叉熵损失与 Dice 损失形成本文两个模型的 损失函数,如式（5）所示 :
其中, N 是眼底视网膜图像中的像素数, yi 表示第 i 个像素的分割结果值, i 表示第 i 个像素点的标签值。 “、 β 是权重参数。本文采用权重参数 “=0.95 和 β=0.05, 能够在保证训练稳定性的同时,有效地提高像素的分割 精度。
2 实验分析
2.1 数据集
本文使用的眼底视网膜图像来自 3 个公开的数据集 ： DRIVE[12]、STARE[13]、CHASEDB1[14]。三个数据集的关 键信息如表 1 所示。
2.2 实验细节
本文实验采用 Pytorch 深度学习框架进行训练,并使 用 NVIDIA A100 显卡对训练过程进行 GPU 加速。本文训 练时的批大小 (batch size) 设置为 2, 迭代数为 200, 初 始学习率设置为 0.01,优化器为 RMSprop,动量因子为 0.9,权重衰减为 1e-8。
2.3 实验结果分析
为了评估算法的分割性能,本文在 DRIVE、STARE 和 CHASEDB1 数据集上进行了广泛的对比实验,实验 结果如表 2 所示,其中加粗项为最优值。 表 2 结果表明, 本文模型在三个数据集上的综合分割性能高于其他模型。
如表 3 所示,由上到下依次展示了在 DRIVE、STARE 和 CHASEDB1 数据集上的可视化分割结果, 其中包含 了正常的眼底视网膜图像和存在眼底病灶或对比度较低 的多种类型眼底视网膜图像。通过与金标准图像的对 比可以看出, MSGA-UNet 对于处在视盘、黄斑与病灶 区域等复杂背景下的血管均能较为准确地分割,验证了 本文算法在解决视网膜分割结果中血管特征不连续以及 血管分割边缘不准确问题上的有效性 ；通过与 U-Net、FANet 的结果在绿框所示局部细节上的对比,可以看出 MSGA-UNet 取得的血管分割结果受病灶区域渗出物的 影响较小,对处于光照不均区域的细小血管及其分叉处 的分割较为准确,具有更高的血管特征连续性。
3 结语
本文提出了一种用于视网膜血管分割的多尺度全局 注意力 U 型神经网络 MSGA-UNet。该网络不仅通过 全局特征注意力模块从编码器中较为容易地获得图像的 全局表征信息,还利用不同膨胀率的空洞卷积扩大感受 野并获取图像的多尺度局部特征信息。实验结果表明, MSGA-UNet 在 DRIVE、STARE 和 CHASEDB1 数据集 上可以有效缓解分割结果中血管特征不连续以及血管边 缘分割准确度不高的问题,相较于其他网络分割性能较优。未来的研究将进一步优化该网络,提升网络的分割 精度和泛化性能,尝试将其应用于视杯、视盘分割等医 学图像任务中。
参考文献
[1] ABRAMOFF M D,GARVIN M K,SONKA M.Retinal Imaging and Image Analysis[J].IEEE Reviews in Biomedical Engineering,2010(3):169-208.
[2] SHENG B,LI P,MO S,et al.Retinal Vessel Segmentation Using Minimum Spanning Superpixel Tree Detector[J]. IEEE Transactions on Cybernetics, 2019, 49(7):2707-2719.
[3] MOU L,CHEN L,CHENG,et al.Dense Dilated Network withProbability Regularized Walk for Vessel Detection[J]. arXiv,2019.
[4] RONNEBERGER O,FISCHER P,BROX T.U-Net: Convolutional Networks for Biomedical Image Segmentation[A]//NAVAB N,HORNEGGER J,WELLS W M,et al.Medical Image Computing and Computer- Assisted Intervention–MICCAI 2015[M].Cham:Springer International Publishing,2015,9351:234–241.
[5] LONG J,SHELHAMER E,DARRELL T.Fully Convolutional Networks for Semantic Segmentation[J].arXiv,2015.
[6] 徐光柱,胡松,陈莎,等.U-net与Dense-net相结合的视网膜 血管提取[J].中国图象图形学报, 2019,24(9):1569-1580.
[7] ZHANG S,FU H,YAN Y,et al.Attention Guided Network for Retinal Image Segmentation[J]. arXiv, 2019.
[8] XIAO X,LIAN S,LUO Z,et al.Weighted Res-UNet for High-Quality Retina Vessel Segmentation[A]// 2018 9th International Conference on Information Technology in Medicine and Education(ITME)[C].Hangzhou:IEEE, 2018:327-331.
[9] LI L,VERMA M,NAKASHIMA Y,et al.IterNet:Retinal Image Segmentation Utilizing Structural Redundancy in Vessel Networks[A]//2020 IEEE Winter Conference on Applications of Computer Vision (WACV)[C].Snowmass Village,CO,USA:IEEE,2020:3645-3654.
[10] TOMAR N K,JHA D,RIEGLER M A,et al.FANet:A Feedback Attention Network for Improved Biomedical Image Segmentation[J].arXiv, 2022.
[11] LIU W,YANG H,TIAN T,et al.Full-Resolution Network and Dual-Threshold Iteration for Retinal Vessel and Coronary Angiograph Segmentation[J].IEEE Journal of Biomedical and Health Informatics,2022,26(9):4623-4634.
[12] STAAL J,ABRAMOFF M D,NIEMEIJER M,et al. Ridge-Based Vessel Segmentation in Color Images of the Retina[J].IEEE Transactions on Medical Imaging,2004, 23(4):501-509.
[13] HOOVER A D,KOUZNETSOVA V,GOLDBAUM M. Locating Blood Vessels in Retinal Images by Piecewise Threshold Probing of a Matched Filter Response[J].IEEE Transactions on Medical Imaging,2000,19(3):203-210.
[14] OWEN C G,RUDNICKA A R,MULLEN R,et al. Measuring Retinal Vessel Tortuosity in 10-Year-Old Children:Validation of the Computer-Assisted Image Analysis of the Retina(CAIAR)Program[J].Investigative Opthalmology & Visual Science,2009,50(5):2004.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/77052.html
