SCI论文（www.lunwensci.com）：
摘要：在海上由于涉及到目标的遮挡、背景及照明等的巨大变化， 小目标重识别是一项极具挑战性的计算机视觉任务。针对传统 小目标识别算法泛化性差， 在目标重识别中特征提取不够充分有效的问题， 提出一种基于通道和空间注意力机制的目标重识别方 法。首先， 通过将 CBAM 机制嵌入到重识别模型的骨干网中， 通过引入通道注意力机制和空间注意力机制， 反馈了更加关键的特 征信息。针对骨干输出的三维特征量， 为得到更有效的信息， 沿垂直进行不同比例的平均分块， 从而在多粒度的情况下， 从全局 和局部更加全面地关注图像信息， 同时利用多损失函数分别优化模型， 提升模型的可区分性。最后将梯度中心化算法引入 Adam 优 化器， 提升网络模型的训练速度和泛化能力， 为海上小目标重识别提供了一种新的研究思路与方法。
关键词：深度学习； 注意力机制； 海上小目标； 梯度中心化
Re-identification Method of Small Target in Ocean Environment Based on Attention Mechanism
Cui Haipeng， Jiang Yingchang
(Qingdao JARI Industry Control Technology Co., Ltd., Qingdao, Shandong 266000, China)
Abstract: In ocean environment due to the huge changes involved in the occlusion, background and lighting, object re-identification is a very challenging computer vision task. Traditional small target recognition algorithms has poor generalization ability, aiming at the problem of insufficient feature extraction in object re-recognition, a object re-identification method was proposed based on channel and spatial attention mechanism. First of all, the CBAM mechanism was embeded into the backbone network of the re-identification model, which introduced the channel attention mechanism and the spatial attention mechanism to feed back more critical feature information . For the three-dimensional feature output of the backbone, in order to obtain more effective information, average partitioning of different proportions along the vertical was performed, so that in the case of multiple-granularity features, more attention could be paid to the image information from the global and local aspects, and multiple loss functions were used. The models were optimized separately to improve the distinguish-ability of the models . Finally,the gradient centralization algorithm was introduced into the Adam optimizer to improve the training speed and generalization ability of the network model. It provides a new research idea and method for target re-identification in ocean .
Key words: deep learning; attention mechanism; multiple-granularity features; gradient centralization
0引言
海上小目标重识别是指在跨摄像头跨场景下小型渔船等目标的识别与检索，即给定一个要查询的目标，确定这个目标是否在不同的时间出现在另一个地方，由不同的摄像头捕捉到。在货港非作业船只监控、渔港越界捕捞等领域有着广阔的应用前景。
传统的目标重识别方法利用手工设计的图像特征，如KISSME[1]、XQDA[2]、ACF[3]等，然而基于手工设计的特征表示有限，难以满足复杂场景下的目标重识别要求，难以获取令人满意的结果。近年来，随着卷积神经网络的蓬勃发展，基于深度学习的目标重识别方法增进了表征信息的提取，促进了度量学习方法的革新，提升了在各个数据集上的检索性能。自Yi等[4]首次应用深度神经网络解决ReID任务以来，接着已有无数方法(2017年Zhang等[5]；2020年Lawen等[6]；2018年Sun等[7]；2017年Zhu等[8]；2018年Fu等[9])及其他方法相继出现，然而，由于在现实场景中，常常存在光照、摄像机视角、复杂背景以及目标部分遮挡等多种因素的存在，往往会导致目标的检索性能大幅度下降，无法准确地识别目标。现有的一些重识别方法通过各种形式的卷积神经网络来学习区分嵌入和相似性度量[10-11]。但是这些模型只提取全局特征，未能很好地解决较大的类内差异，常导致检索性能大幅下降，比那些采用细节和局部特征的模型效率要低[12]。人们已经开发了一部分嵌入局部信息的深度学习模型[13-15]，通过提取和比较行人的局部特征，试图解决由各种内在因素和外在影响引起的问题。但是这些方法利用附加的骨骼关键点或姿态估计模型来防止任意失准和背景杂波，这意味着需要大量的标记训练数据。
针对海上小目标识别，本文提出了一种基于通道和空间注意力网络来进行海上小目标重识别，它能自动选择有效的特征并抑制不太有用的特征。同时对输入图像进行平均分块，分别从局部和全局进行特征提取，使得该算法更有利于海上小目标的重识别。
1小目标重识别实现方法
通常，目标重识别一般可以分为基于身份的方法和基于验证的方法。识别模型搜索数据集中的目标，并分析哪个目标与查询中的目标是一致的，而验证模型则确定给定的一对目标是否是同一个目标。因此，这些模型具有不同的输入、特征提取和训练损失函数。为了学习更多的判别特征和扩大模型的泛化能力，许多最新的方法将这两个模型结合起来[11]，并通过实验证明了它们的性能。然而，融合方法并没有充分考虑类内和类间的距离。针对这一问题，提出了一种多损失函数作为验证任务的损失函数，以约束分类误差和类距离。多损失函数度量特征与其对应的类中心在特征空间中的距离，以考虑类内聚集和类间分离。
鉴于基于卷积基线网络的分块(PCB)取得的优异效果[7]，引入简单的平均分块的策略，有助于关注特征的细粒度信息，同时不要额外的先验知识匹配图像。具体来说，与PCB分块不同的是，分块策略是在不同的规模上进行的，而且是本着由粗到细的一个过程，将骨干网输出的三维特征向量进行分割，为了方便，直接等分成上、下两部分以及上、中、下三部分，同时为了调控全局间的关系，保留了全局的特征信息。通过该均等分块的方式，可以驱动模型从不同的细粒度更好地关注练样本中本身存在的自然相似性特征。
同时，将骨干网中引入空间和通道注意力[16]来强化关键的特征信息而不需要额外的辅助信息，注意模块自动学习和建模卷积特征通道之间以及空间下的相互依赖关系，能够有效地增强重要特征、抑制无关特征，同时该模块能够改善摄像机视角、目标部分遮挡以及检测器误差等问题带来的干扰。因此借助嵌入注意力机制，目标重识别的整个网络集中于有效的信道信息和空间信息，通过对卷积特征通道间的关系以及空间关系进行特征重标定和学习，可以有选择地突出贡献特征，抑制无用特征，提升了模型的判别能力。
2网络架构设计
在本节中详细介绍本文提出的基于卷积注意力机(CBAM)的目标重识别方法。具体来说，该模型将基于通道和空间注意力机制集成在重识别的骨干网中即ResNet50，对输入的特征图进行自适应特征细化。然后对最终的特征向量进行均等分块，从全局和局部分别进行优化，并采用端到端的方式进行训练，整个模型的架构如图1所示。其中，经骨干网获得的特征向量，为了获取更详细的全面的特征信息，从多粒度特征向量出发，进行全局和局部的划分优化。采用以ResNet50为基础，融入基于通道和空间注意力机制CBAM对目标特征关键信息进行强化，接着对最终输出的特征向量进行均等硬划分，得到多粒度的特征向量，进而从全局和局部对模型优化。最后采取多损失函数度量及进行模型优化，同时将梯度中心化算法融入Adam优化器中，加快模型的训练速度。
图1基于注意力机制的海上小目标重识别模块
2.1问题定义
假设存在有标签的数据集{Xs，Ys}，包括NS张目标图像，每个目标xi的身份是yi，该数据集总共有M类目标样本。本文的目的是给出查询目标样本xi，在指定的图像库中检索到该指定目标的过程。
2.2基于通道空间注意力机制
注意力机制借助少量的参数，可以减少无关信息的干扰，从而提取更加有效的特征，进而提高重识别模型的判别性。本文将CBAM机制引入特征向量中，从通道和空间两个维度上，在没有显著增加计算量和参数量的前提下提升网络模型的特征提取能力。
如图1所示，针对ResNet50作为骨干网，输出前，在每个ResBlock的后面加上该模块，进行顺序排列通道注意力模块和空间注意力模块，并分别表示为M、M。
(1)通道注意力模块
为了有效地计算通道维度下的特征，得到有意义的输入图像。同时对当前多个特征图沿空间分别使用平均池化和最大池化来收集独特的物体特征，从而得到更细的通道注意力，计算过程如下：
MC(Fi)=σ(MLP(AvgPool(Fi))+MLP(MaxPool(Fi)))=σ(W1(W0(Fia))+W1(W0(FiCmax))) (1)
式中：σ为激活函数；MLP为多层感知器；Fi为上述的三维特征图，总共有p+1部分，Fi为在经过ResNet50中每个ResBlock后输出的特征张量；FFiCmax分别为将特征向量沿空间轴进行平局池化和最大池化后所得的特征向量。
(2)空间注意力模块
作为对通道注意力的补充，该注意力模块主要为了找到最具信息量的部分。为了计算空间注意力，有效地突出信息区域，沿着通道方向应用平均池化和最大池化操作，并将它们连接起来生成一个有效的特征描述符。
MS(Fi)=σ(f7×7([AvgPool(Fi);MaxPool(Fi)]))
=σ(f7×7([Fia;FiSmax])) (2)
式中：f7×7为滤波器大小为7×7的卷积运算；Fia、FiSmax分别为将特征向量沿通道轴进行平局池化和最大池化后所得的特征描述符，通过使用两个池化操作聚合成一个特征图。
2.3均等硬划分
如图2所示，为了从全局和局部分别获取更加详细的特征信息，引入了均等划分的策略，通过该方式，获取不同粒度下的特征向量，多粒度的特征向量包含全局和局部信息，使用几个部分级别的特征用于综合详细地描述重识别任务中的目标匹配。
图2均等硬划分下的多粒度输出
具体来说，当输入一张目标图像xi后，经过融合CBAM注意力机制的骨干网得到一个激活后的三维张量特征Fti∈ℝH×W×C，首先将完整的特征向量作为一个输出，保证模型对全局的一个掌控；接着，采用二等分和三等分硬划分策略，将特征输出分别垂直划分为两个垂直块和3个垂直块，从而得到5个垂直张量块，将其特征输出分别记为
最终为了挖掘到局部关键信息同时掌握全局的信息变化，将整个特征向量和5个被分割的局部三维特征图输入，即此时共有6部分输入。
3损失函数
3.1多损失函数
经过均等划分后，从局部和全局两个方面引入多损失函数，进行优化目标模型。同时为了有效地优化模型，从两方面考虑重识别任务，一方面，将它作为一项识别任务，即识别输入目标的身份(数据集的标签)；另一方面，将其作为验证任务，即确定两个输入的目标是否为同一个身份。
对于前一个任务，从表征学习的角度出发，即将目标重识别任务直接当作一个识别分类问题来看待。在给定数据标签的情况下，针对目标重识别网络模型的每部分输出，使用软交叉熵函数来优化目标重识别。如下所示：
Lid=
-yilog(yi) (3)
式中：n为数据集中目标的身份数；yi为预测的ID；yi为真正的目标身份标签。
后者是验证任务，关于该任务，一般都将其作为二分类问题。尽管交叉熵在目标重识别中表现良好[17]，但是它没有明确规定对于目标中正对和负对应该以怎样的方式存在，这可能会导致属于同一个目标的实例形成一个非常大的集群，同一个身份的目标的类内距离很大，而不同的类之间的距离在学习的特征空间中不够远。针对此，引入一个新的损失函数，通过样本间的约束(三元组损失[18])和样本与样本所属类的类型之间的约束 (距离损失)，该函数进一步限制图像对的距离。
Lver=Ldis+Ltri=
(|f|i-ck||)+(
[|f|i-fi+||-|f|i-fi-||+α]+) (4)
式中：λ1和λ1为距离损失和三元组损失的权重系数；N为训练批次的大小；ck为样本xi所属的特征类型。
为自适应变量，其更新公式如下：
Δcj=
(5)
该公式进行使用批次中的样本进行随时更新样本所属的类心。所以针对目标重识别模型来说，总的损失为：
L=λ1Lid+λ2Lver (6)
式中：λ1和λ1为距离损失和三元组损失的权重系数。
3.2梯度中心化
与特征图标准化BN[12]和权值标准化WS[13]这些对权值梯度简介操作的方法不同，梯度中心化GC(GradientCentralization) 方法直接作用于权值梯度， 梯度中心化 GC对权值梯度进行零均值化， 通过计算梯度向量的均值 来约束模型的损失函数， 能够使得网络的训练更加稳定， 并且能提高网络的泛化能力， 如图 3所示。本文将梯度 中心算法引入 Adam 优化器， 对权重和输出的特征进行 正则化， 从而使得重识别模型的训练更加有效稳定。
图 3 梯度中心化
在此， 以全连接层为例， 在已有网络模型反向传播 梯度的基础上， 对每个列向量中移除各自对应的平均值， 从而实现每个列向量的中心化， 计算公式如下：
Φ GC (∇wi L ) = ∇wi L -
∇wi,j L (7)
式中： ∇wi L 为梯度； ∇wi 为权重向量； i 为梯度矩阵中的 第 i 列向量，j 表示第 i 列向量中的第j 个元素。
4 结束语
本文在结合注意力机制的基础上， 充分考虑到了数 据本身的复杂性和优化的有闲心， 提出了一种有效的基 于注意力机制的目标重识别方法。在特征学习过程中， 将 CBAM 融合到 ResNet50 的每个模块中提取到具有关键 信息的特征向量； 并在基础上对最终的特征输出进行均 等硬划分策略， 从全局和局部多粒度下， 更加全面地关 注描述重识别中的匹配任务。在接下来的工作中， 将采 用基于真实场景下的数据来对上述模型进行训练和优化， 并采用真实数据集测试模型的性能。
参考文献：
[1] M Köstinger, Hirzer M , Wohlhart P , et al. Large scale metric learning from equivalence constraints[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012.
[2] Liao S, Yang H, Zhu X, et al. Person re-identification by Local Maximal Occurrence representation and metric learning[C]// 2015 IEEE Conference on Computer Vision and Pattern Recogni ‐ tion (CVPR). IEEE, 2015.
[3] Huang Xinyu, Xu Jiaolong, Guo Gang, et al. Real-Time Pedestri ‐ an Reidentification Based on Enhanced Aggregated Channel Fea ‐ tures[J]. Laser & Optoelectronics Progress, 2017, 54(9):091001.
[4] Dong Y , Zhen L , Liao S , et al. Deep Metric Learning for Per‐ son Re-identification[C]// International Conference on Pattern
[5] Liao S , Hu Y , Zhu X , et al. Person Re-identification by Local Maximal Occurrence Representation and Metric Learning[J]. IEEE, 2014.
[6] Lawen H , Ben-Cohen A , Protter M , et al. Compact Network Training for Person ReID[C]// ICMR '20: International Confer‐ ence on Multimedia Retrieval. 2020.
[7] Sun Y , Zheng L , Yang Y , et al. Beyond Part Models: Person Retrieval with Refined Part Pooling (and A Strong Convolutional Baseline)[C]// European Conference on Computer Vision. Spring ‐ er, Cham, 2017.
[8] Zhu F , Kong X , Zheng L , et al. Part-Based Deep Hashing for Large-Scale Person Re-Identification[J]. IEEE Transactions on Image Processing, 2017, 26(10):4806-4817.
[9] Fu Y , Wei Y , Zhou Y , et al. Horizontal Pyramid Matching for Person Re-identification[J]. 2018(1): 8295-8302.
[10] Wei L , Rui Z , Tong X , et al. DeepReID: Deep Filter Pairing Neural Network for Person Re-identification[C]// Computer Vi‐ sion & Pattern Recognition. IEEE, 2014.
[11] Zheng Z, Zheng L, Yang Y . A Discriminatively Learned CNN Embedding for Person Re-identification[J]. acm transactions on multimedia computing communications & applications, 2018 (1):1-20.
[12] Chen D , Li H , Liu X , et al. Improving Deep Visual Represen ‐ tation for Person Re-identification by Global and Local Image- language Association[C]// European Conference on Computer Vision. Springer, Cham, 2018.
[13] R R Varior, B Shuai, J Lu, et al. A siamese long short-term memory architecture for human re-identification[C]//European conference on computer vision, 2016.
[14] L Wei, S Zhang, H Yao,et al. Tian, "Glad: Global-local-align ‐ ment descriptor for pedestrian retrieval[C]// 25th ACM interna ‐ tional conference on Multimedia, 2017.
[15] L Zheng, Y Huang, H Lu, et al. Pose-invariant embedding for deep person re-identification[C]//IEEE Transactions on Image Processing, 2019.
[16] S Woo, J Park, J-Y Lee, et al. Cbam: Convolutional block atten ‐ tion module[C]// the European conference on computer vision (ECCV), 2018.
[17] B C Y A, C J G A, A P F, et al. A jointly learned deep embed ‐ ding for person re-identification[J]. Neurocomputing, 2019, 330:127-137.
[18] Hermans A, Beyer L , Leibe B . In Defense of the Triplet Loss for Person Re-Identification[J]. 2017.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/ligonglunwen/45542.html
