Page 253 - 《软件学报》2025年第5期

杨红红 等: 基于平行多尺度时空图卷积网络的三维人体姿态估计算法 2153

问题, 本文设计一种平行多尺度时空图卷积网络模型 (PMST-GNet), 通过构建平行多尺度子网络模块 (PM-SubGNet),
有效地对骨架关节的时空信息进行建模.
(2) 由于传统的 GCN 在时空特征提取过程采用固定的图拓扑结构, 造成节点特征随网络深度加深产生同化的
问题, 本文设计一种对角占优的时空注意力图卷积 (DDA-STGConv), 通过构建跨域时空邻接矩阵, 从时间和空间
维度出发对骨架关节点信息进行基于自约束和注意力机制约束的建模, 提升关节点之间信息的传递, 增强节点的
特征表达.
(3) 为了提高骨架关节点局部和全局信息的交互, 克服单尺度图卷积仅描述单个尺度中人体内部关节关联关
系的局限性, 本文构建平行多尺度子网络模块 (PM-SubGNet), 通过设计图拓扑聚合函数, 构造不同尺度的图拓扑
结构, 对不同身体部位之间的关联关系进行建模, 实现不同尺度节点特征的聚合.

1 时空图卷积神经网络

GCN 对人体骨架进行建模的核心思想是通过关节点之间的信息传递聚合节点特征, 其对于 2D 骨架序列数据
V = {v ti | t = 1,...,T;i = 1,...,N} , 以人体关节之间的自然连接 (空域) 和关节在时间维
而言, 构造以关节点为图节点
度上连接 (时域) 为图边 E = {[e ij ,e ti ] | t = 1,...,T;i, j = 1,...,N} 的时空图 G = (V,E,A) . 其中, V 表示由连续 T 帧, 每
帧 N 个关节点坐标构成的图节点集, E 为由帧内及帧间关节点连通构成的图边集, E 由邻接矩阵 A = (α i j ) M×M 编
j
码关节点之间的连接关系, 若关节点 i 和 之间具有物理连接, 则 α ij = 1 , 反之, α ij = 0 .

1.1 空域图卷积
空域图卷积 (spatial-graph convolution, S-GC) 通过对同一帧中的关节点进行卷积操作以对不同节点的特征进
行聚合. 对于任意 t 时刻的图像而言, 存在 N 个人体骨架节点 V t = {v ti |i = 1,...,N} , 其人体关节点连接形成的骨架
空域边为 E t = {e ij (v ti ,v t j ) | i, j = 1,...,N} , 则相应的空域图卷积可以表示为:

 
 ∑ 
   
(l)
x (l+1) = σ  w(v i ,v j )x α i j ,i ∈ {1,...,N},l ∈ {1,...,L} (1)


v i  v j
 
v j ∈B(v i )
其中, x (l) 是节点 v j 在第 l 层的输入特征, x (l+1) 为相应的输出, 同时也是 (l+1) 层的输入特征. w(·) 为权值向量, σ(·)
v j v i
为激活函数, B(v i ) 为节点 v i 的采样邻域节点集, 表示为:

′
B(v i ) = {v j | d(v i ,v j ) ⩽ d } (2)
′
其中, d(v i ,v j ) 表示两个节点 v i 和 v j 之间的最短路径, d 为预定义的最大采样距离. 大多数现有的 S-GC, 设置
d = 1 , 即使用关节点的 1 阶邻域信息进行特征聚合.
′
对所有的关节点执行公式 (1) 中空域图卷积操作, 则公式 (1) 更新为:

(l)
(l)
X (l+1) = σ(W X A ) (3)
S S
(l)
其中, X ∈ R D l ×N 和 X (l+1) ∈ R D l+1 ×N 分别为 S-GC 第 l 层更新前和更新后的特征矩阵, D 为每个节点的特征维度, N
W ∈ R D (l+1) ×D l A 为空域邻接矩阵.
(l)
为节点数量. 为相应的权值矩阵,
S

1.2 时域图卷积
与空域图卷积类似, 时域图卷积 (temporal-graph convolution, T-GC) 通过在连续帧中对相同节点进行特征加
权聚合实现骨架关节点时域信息的提取, 其表示为:

 
 ∑  

(l)
x (l+1) = σ   wx α ti,(t+1)i ,i ∈ {1,...,N},l ∈ {1,...,L} (4)



v qi   v q j 
v qi ∈B(v ti )
{ ⌊ ⌋}
Γ

B(v ti ) = v qi |q−t| ⩽

其中, 为节点 v i 在连续帧中的采样邻节点集, 其相应的时域图卷积核函数大小为 Γ×1 .
2
同样的, 对所有节点执行时域图卷积操作, 其相应的时域卷积层可以表示为:

(l)
X (l+1) = σ(WX A ) (5)
T T