Page 466 - 《软件学报》2024年第4期

2044 软件学报 2024 年第 35 卷第 4 期

1.0 1.0
nose nose
left_eye left_eye
right_eye right_eye
left_ear 0.8 left_ear 0.8
right_ear right_ear
left_shoulder left_shoulder
right_shoulder 0.6 right_shoulder 0.6
left_elbow left_elbow
right_elbow right_elbow
left_wrist left_wrist
right_wrist 0.4 right_wrist 0.4
left_hip left_hip
right_hip right_hip
left_knee 0.2 left_knee 0.2
right_knee right_knee
left_ankle left_ankle
right_ankle 0 right_ankle 0
nose left_eye right_eye left_ear right_ear left_shoulder right_shoulder left_elbow right_elbow left_wrist right_wrist left_hip right_hip left_knee right_knee left_ankle right_ankle nose left_eye right_eye left_ear right_ear left_shoulder right_shoulder left_elbow right_elbow left_wrist right_wrist left_hip right_hip left_knee right_knee left_ankle right_ankle
(a) 目标人体 (b) 动态关键点关系 (c) 动态稀疏关键点关系
图 4 目标人体 (姿态) 的关键点关系

压缩-激活
R dy
dy
R sp
Channel=64 ω 过滤
...
1×1 CR 1×1 C Softmax 关系
τ

图 5 剔除弱连接的关键点关系

1.2.3 相对 3D 姿态估计
对存在紧凑位置关系的多人场景, 可能出现人体根关键点重叠, 基于根关键点估计其他 K 个关键点区域不够
dy
可靠. 基于姿态关联的动态稀疏关键点关系矩阵 R sp 和图卷积 [11] 提取人体上下文, 借助人体上下文获得增强关键
′
′ ˆ ′
′
点区域特征 E k k ∈ {0,...,K −1} , 如图 6(a) 所示. 基于 E k 优化关键点区域 (ˆµ , ˆw ,h , ˆ θ ) 获得新的关键点区域特征
,
k k k k
[19]
G k ∈ R C G ×H G ×W G , 再利用动态生成的卷积权重 Ψ k 卷积 G k ∈ R C G ×H G ×W G , 获得关键点热图估计 H k ∈ R 32×H G ×W G , 如图 6(b)
所示.

1×1 C
L 0 E 0
ˆ
ˆ
PKRM PKRM ... E 0 (μ′ 0 , w′ 0 , h′ 0 , θ′ 0 )
ˆ
ˆ
...
GAP 1×1 C
L k E k
Ψ 0
H 0
(l+1) Grid
(l) L 0 1×1
L 0 sampling
图卷积 ...
V geo 1×1 CBR BB×1 G 0 C
...
V noise
(l) (l+1) Grid
L k L k 1×1
X sampling
dy G k C
R sp Channel=32
Ψ k H k
ˆ
ˆ
动态关键点关系建模 关键点关系过滤 GAP 1×1 C (μ′ k , w′ k , h′ k , θ′ k )
ˆ
ˆ
E k
1×1 C
(a) 建模动态稀疏关键点关系 (PKRM 模块) (b) 关键点区域特征优化
图 6 动态稀疏关键点关系 (PKRM) 及关键点区域优化

32× H G ×W G 三维空间各位置的置信度, 加权求和这些位置获得关键点位置向量
热图 H k 提供了关键点 k 处于
3 [20] [21]
′
′
′
′
′
′
J k ∈ R , 如公式 (4), 其中 Softmax(H k )(z ,y , x ) 表示经 Softmax 归一化后 (z ,y , x ) 处的置信度. 再采用级联网络
优化候选 3D 姿态估计 J = {J 0 ,..., J K−1 } .