SCI论文（www.lunwensci.com）
摘要： 本文提出了一种在图像中检测多个人体目标姿态的方法，即利用部位关联相关性使身体姿态与人 的个体形成对应关系，通过自下而上的分析步骤，在图片中存在多个人的情况下 , 保证实时性，以及保证 姿态检测的高准确性。本文方法是将关键部位及其相关性作为同一预测的两种方法，并将二者结合起来 进行实验证明，本文方法具有一定的有效性。
关键词：人体姿态,关键部位,多人检测
A real-time human pose estimation method
Wang Haitao
(Harbin Xinguang Optoelectronics Technology Co., Ltd., Harbin Heilongjiang, 150028)
Abstact: A method is proposed for detecting the pose of multiple human objects in an image. Using the correlation of parts to form a corresponding relationship between the body posture and the individual person, through the bottom-up analysis step, even when there are multiple people in the picture, it can ensure the high accuracy of posture detection while ensuring real-time performance. The method in this paper combines the key parts and their correlations for the prediction, the experiments show that the method in this paper is effective. Key words: person pose;key parts; multi-person detection.
一、引言
实现人体姿态估计检测方法的重点是在图像中 寻找人体的某些关键部位。当图像中同时存在多人， 尤其在场景为复杂的社交场景时，准确的姿态识别 具有很大难度。究其原因，场景中的个体姿态千变 万化、没有任何规律，并且会由于人与人之间的相 互接触、遮挡等原因而使得人体关键部位的检测更 加困难。随着图像中人数的增加，要想保证检测的 实时性变得越发复杂。
基于以上问题，本文提出了一种多人检测的有 效方法，即在图像中利用肢体的位置及方向特征形 成二维矢量场。实验证明，在复杂的多人场景下， 该检测方法具有一定的有效性及实时性。
二、姿态估计方法
系统的输入是一张彩色图像，输出则是图像中 包含每个人体肢体关键信息的二维位置。首先，系 统利用前馈神经网络同时预测人体部位位置的一组 二维置信图，以及一组与部件关联的在部件之间的 关联方向二维矢量场;其次，集合含有个置信图; 最后，通过推理解析出置信图及关联场 [1-4]。
(一)关联检测方法
如图 1 所示，系统同时预测检测置信图及部位 之间关联关系的亲和域。预测网络含有两个分支， 上为分支预测置信图，下为分支预测亲和域。先通 过 VGG-19 的前 10 层对输入图像进行卷积分析，生 成初始的特征图F。将特征图F输入每个分支的第一步， 再利用特征图F，网络生成一组置信图S1 和 一组人体部分关联域L1.
图1 本文方法的整体流程
图像 I 通过两个分支分别对肢体节点进行训 练，即置信图(上面这个分支)和关联矢量场(下 面这个分支)。系统先通过多层卷积分别提取特征， 再对两种分支使用不同的损失函数。步骤 1 运算后 经结合再将特征图分给另外两个分支，从而得到最 终的特征图。
为了使网络能在第一分支的肢体部位置信图及 第二分支的亲和域不断迭代，需在每一分支的结尾 处使用L2 损失函数，并利用对损失函数加权的方 法解决在某些数据集中时不能完全标记所有人的问 题。在步骤t下，每个分支的损失函数分别如公式 1 和公式 2 所示。
其中， Sj*是置信图的真值部分， Lc(*)是关联矢量场的真值部分 , W是当图像中的位置P没有标签 时，即W（P）= 0的二进制掩膜，可避免在训练时影 响正向预测。利用定期梯度补偿能解决每个阶段的梯度消失问题。整体损失函数表述如公式 3 所示。
(二)肢体部位检测置信图
为了在训练过程中评估公式 3.本文在标注的 2D 关键点中生成置信图S*。在置信图中，每个像 素点分别表示着人体部位出现的置信度。因此，当 图像中只有一个人时，置信图将会出现一个独立的 置信峰值;当图像中有多人时，置信图中将会出现 多个峰值 , 以对应每个人。
(三)肢体关联矢量场
通过一组检测人体部位的点(图 2 中的红色及蓝色的点)，即可在不确定场景中人数的情况下适 配每个人体的完整姿态。这需要针对肢体部位检测 中每对点的相关关系制订一套可信的度量方法，以 表明这对点属于同一个人。如图 2b 所示，在一个 肢点部位上的一对点中间增加一个点，可用于评价 点对的相关性，并检查候选点对之间影响程度。但 是当人们聚集在一起时，这些中间点则可能给出错 误的关联结果(图 2b 中绿色的线) 。出现这种问 题的原因有二：第一，只考虑了点的位置，没有考 虑每个肢体点的方向;第二，用一个点来表示表达 肢体的区域。
为了解决这个问题，本文提出一种新的特征表 达方式：关联矢量场。在肢体的表达域中既保留位 置信息，又保留方向信息(如图 2c 所示) 。部位 关联是每个肢体的二维矢量场，对应特定肢体区域 中的每个像素，这个二维矢量是从肢体间的一个点 到另一个点的方向。每种肢体类型都有对应的关联 区域可将两个相关的肢体部分关联起来。
图 2 肢体关联场处理过程图
图 a 是肢体部分检测候选点，包括同一个身体 的连线及与不同人体的连线。图 b 是增加中间点的 连接方式，也包括同一个身体连接及人体间通过中 间点的连接。图 c 是使用关联矢量场的结果，可对 位置及方向进行编码，该方法能够有效排除错误的 连接。
本文主要计算相应 PAF 上的线积分，沿着连接 候选肢体部位的线段来测试候选肢体部位检测之间 的关联。也就是说，若想利用候选肢体点来衡量预 测肢体关联场的对齐程度，可以通过连接身位部位 间的关键点来实现。特别是针对两个候选肢体位置点dj1 及dj2 ，在线段上采样肢体关联点Lc 用于衡 量两个点的联系程度，如公式 4 所示。
其中， P （u）是两个肢体位置点dj2 与dj1 之间的插值，如公式 5 所示。
为了降低运算复杂度，本文通过抽样计算来完 成积分运算。
(四)利用肢体关联矢量场进行多人解析
在检测置信图时，系统利用非极大值抑制来获 得一组肢体候选位置点。每个肢体关节都可能存在 数个候选点(如图 3b 所示) 。这些关节候选点定 义了一个可能肢体位置的大集合。使用公式 4 中的 线性积分计算肢体关联场，可得到每个候选肢体的 分数值。有N个方向的最优匹配问题属于NP问题(如 图 3c 所示) 。本文先对图像中的多人获得一组身 体关节检测候选点Pk 。这些关节检测候选点仍然 需要与同一个人的其他关节点相关联，也就是说， 需要检测关节检测点，即肢体连线。为了找出最佳 匹配，可使用变量Z判断两个检测候选点之间是否 相连。
图3 图匹配问题
图(a) 是用于肢体检测点的原始图像， 图(b) 是 K 分图，图(c)是树形结构，图(d)是一组二分图。
如果考虑一个简单的身体匹配，那么找出最 优关联问题就可以近似成二分图匹配的最大权重 问题。本文针对姿态检测添加了两个优化项：第 一，使用边缘个数的最小化去获得人体姿态(如图 3c)，而不是使用完整的图;第二，进一步将匹配 问题分解为一组二分匹配子问题，究其原因，肢体 关联场显式建模决定了相邻树节点之间的关系。 但是， 在内部， 由卷积神经网络(Convolutional Neural Network，CNN) 对不相邻树节点进行隐式 建模。这种特性是由于 CNN 在一个大的感受野下进 行训练，而来自非相邻树节点的肢体关联场也会影 响预测的肢体关联场。有了这两个条件，优化问题可以用公式 6 表示：
利用所有肢体连接候选点，可以收集所有的连 接关系，将同一个肢体检测候选点集应用于图像多 人的全身姿态使用。
三、实验结果
本文使用的 MPII 数据集测试方法具有一定的 有效性。数据集中包括现实生活中很多的复杂场景， 如拥挤、尺度变化、遮挡和接触等，图 4 展示了算 法的检测结果。
图4 本文算法的部分识别结果
四、结语
本文提出了一种实时检测图像中多人姿态的方法。在复杂场景下，利用关联矢量场结合肢体检测的置信图可以快速检测多人姿态。实验结果表明，本文方法具有可行性。
【参考文献】
[1]Tony Luczak,Patrick Nelsen,John E Ball,Reuben Burch,Jonathan Barlow,Martin Duclos,Steven M Grice,Michael Taquino . A survey of technical challenges in computer vision via machine and deep learning for human pose estimation[J] . IIE Annual Conference. Proceedings,2022.
[2]Sohailah Alyammahi,Harish Bhaskar,Dymitr Ruta,Mohammed Al-Mualla . People detection and articulated pose estimation framework for crowded scenes[J]. Knowledge-Based Systems,2017.
[3]Adrian Bulat,Georgios Tzimiropoulos . Human pose estimation via Convolutional Part Heatmap Regression.[J]. CoRR,2016.abs/1609.01743.
[4]Arj un Jain,Jonathan T ompson,Yann LeCun,Christoph Bregler. MoDeep: A Deep Learning Framework Using Motion Features for Human Pose Estimation.[J]. CoRR,2014.abs/1409.7963.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/52345.html
