Page 469 - 《软件学报》2024年第4期

何建航 等: 基于人体和场景上下文的多人 3D 姿态估计 2047

X-Y 平面
u
0 1 2 3 4
0
X-Z平面
u
1
v 0 1 2 3 4
2 −2,0 −2,1 −2,2 −2,3 −2,4
0
3 −1,0 −1,1 −1,2 −1,3 −1,4
1
d
0,0
2 0,1 0,2 0,3 0,4
d=2
1,0 1,1 1,2 1,3 1,4
3
4 2,0 2,1 2,2 2,3 2,4
人体相对位置图谱
深度分布
图 8 相对位置图谱计算

3 实 验
本文在提出关键点区域提议描述人体目标的基础上建模姿态关联关键点关系提取人体上下文, 提出基于
图像深度建模及鸟瞰特征映射提取场景上下文, 设计融合网络融合人体和场景上下文估计人体绝对深度, 获
得多人 3D 姿态估计模型 HSC-Pose (human-and-scene context based multi-person 3D pose estimation), 如图 9
所示.

图卷积网络
... ...
关键点区域 关键点区域特征 人体上下文

姿态关联的 ⊕
关键点关系

深度建模 特征映射
场景上下文 人体和场景上下文融合
图 9 基于人体和场景上下文的多人 3D 姿态估计

3.1 创建 HSC-Pose
鉴于 Mask RCNN 的网络结构, 选择 HrNet32 作为骨干网络 [25] , 设计人体上下文提取网络和图像深度建模及
特征映射场景上下文提取网络. 人体上下文提取网络包括人体描述模块 (human description module, HDM) 和姿态
关联关键点关系模块 PKRM. HDM 涉及关键点区域提议 KRPM, 网格采样 GS 和损失函数 KLD. KRPM 的超参
W G , 这些超参数对模型精度和计算复杂度
数: 关键点区域特征 L k 和 G k 的通道数 C L 和 C G , 高 H L 和 H G , 宽 W L 和
的影响如图 10(a)–(d) 所示, 平衡模型性能和计算复杂度选取较优的参数集合, C L , H L W L 和 C G , H G W G 分别
,
,
设置为 16, 9, 9 和 32, 25, 25. 利用 PKRM 进行多轮人体上下文提取, 如图 6(a) 所示, 提取次数对模型精度和计算
复杂度的影响如图 10(e) 所示, 提取次数选为 2 效果较优.