Page 256 - 《软件学报》2025年第5期

2156 软件学报 2025 年第 36 卷第 5 期

k=1 k=2 k=3 k=4
图 2 根据人体运动趋势划分的多尺度结构

B(v i ) 为半径对节点进行聚合, 使得
● 图拓扑聚合函数: 对于任意尺度的节点 v i , 以 v i 为聚合中心, 以固定邻域
v i
v i
v i
每个聚类簇中心点代表 B(v i ) 范围内的局部关节点, 由此聚类簇构成的子拓扑图结构表示为 g = (V ,E ) .
k k k
对于尺度 k v i v i v i M(·) , 构
g = (V ,E ),i = 1,...,N k , 通过定义同尺度图拓扑合并函数
N k 个子拓扑图
中所构成的
1 1 1
造 k 尺度的图拓扑结构:
   
N k N k N k ∑
∑  ∑ 
  v i    v i i  
G k = M   g  =   ∪V , ∪E  (7)

 k   k k  
i i i
对于尺度 v i v i v i g = (V ,E ) , 定义邻接尺度
v j
v j
v j
v i 和
k 中的任意两个以
v j 为聚类中心构成的子拓扑图
g = (V ,E ) 和
k k k k k k
图拓扑聚合函数 F(·) , 通过对 k 尺度的子拓扑图进行融合, 构造 k+1 尺度的子图拓扑结构.

v j
v j
v j
v i
v i
F(g ,g ) = (V ∪V ,E ∪E ),B(v i ) = 1 (8)
v i
k k k k k k
其中, B(v i ) = 1 表示同一尺度子拓扑图合并的邻域范围. 对于以节点 v i 为中心构成的聚类簇, 其对应的节点特征表
v i
示为 x i , 在利用公式 (8) 进行子拓扑图聚合过程中, 对于两个子图中的重复节点, 其节点特征为 g 和 g v j 中相应节
k k
点特征的平均值.
● 平行多尺度子网络模块 (PM-SubGNet): 为了更好地提取骨架关节之间的上下文信息, 本文构造平行多尺度
子网络模块 (PM-SubGNet), 如后文图 3 所示, PMST-GNet 由 4 个 PM-SubGNet 构成, 每一个子网络由多个 DDA-
STGConv 层进行特征提取. 其中, 第 1 阶段的子网络以人体结构中的 N k = 17 个原始关节点为聚类簇中心,
B(v i ) = 0 为半径, 构造以自身节点, 自连接为边的 17 g = (V ,E ),i = 1,...,N 1 N 1 = 17 . 然后对该尺度
v i
v i
v i
个子拓扑图
1 1 1 ,
的子拓扑图按照公式 (7) 执行同尺度图拓扑合并, 获得尺度 1 的图拓扑结构 G 1 . 第 2 阶段的子网络通过对尺度 1
v i
v i
v i
的子拓扑图 g = (V ,E ),i = 1,...,N 1 按照公式 (8) 执行邻接尺度图拓扑聚合操作, 获得包含 11 个子部件的拓扑图
1 1 1
v i v i v i N 2 = 11 , 然后执行公式 (7), 获得尺度 2 G 2 . 第 3 阶段的子网络通过将
g = (V ,E ),i = 1,...,N 2 , 的图拓扑结构
2 2 2
k=2 尺度的 11 个部件关节子拓扑图按照公式 (8) 进一步合并, 获得由人体左臂、右臂、躯干、左腿和右腿关节组
成的 5 个子部件的拓扑图 g = (V ,E ),i = 1,...,N 3 , N 3 = 5 , 根据公式 (7), 获得尺度 3 的图拓扑结构 G 3 ; 第 4 阶
v i
v i
v i
3
3
3
段的子网络在 k=3 尺度的基础上按照公式 (8) 进行节点聚合, 将人体关节划分为由上半身和下半身关节组成的两
g = (V ,E ),i = 1,...,N 4 N 4 = 2 , 根据公式 (7), 获得尺度 4
v i
v i
v i
个子部件拓扑图 4 4 4 , 的图拓扑结构 G 4 .
单尺度特征提取模块: 对于不同尺度的骨架关节, 首先根据每一尺度所建立的拓扑图 G k 构造相应的时空域邻
(A ) k ∈ R N k ×N k N k 为尺度 k 的节点个数. 然后, 利用所设计的 DDA-STGConv 图卷积提取相应尺度的时空
接矩阵 ST ,
域特征. 对于尺度 k 的第 l 层输入特征 X (l) , 根据公式 (6), 其相应的时空域图卷积可以表示为:
k

( ( ))
(l+1) (l) (l)
˜ X = σ W X (9)
ST k
k k k (A ) ⊙M k +A I,k
其中, ˜ X (l+1) 表示尺度 k 的第 l 层输入特征 X (l) 经过 DDA-STGConv 卷积后的输出.
k k

2.2.3 多尺度特征交叉融合模块 (MFEB)
为了更好地提取骨架关节之间的上下文信息, 本文构造多尺度特征交叉融合模块, 将平行多尺度子网络模块
中不同尺度的特征进行融合, 如图 4 所示, 对于第 l 层网络而言, { ˜ X (l+1) , ˜ X (l+1) ,..., ˜ X (l+1) },k ∈ 1,2,3,4 表示平行多尺度
2
1
k