Page 254 - 《软件学报》2025年第5期

2154 软件学报 2025 年第 36 卷第 5 期

A 编码同一节点在第 t 帧中前向、后向的邻节点连接关系.
其中,
T

2 平行多尺度时空图卷积模型
上述空域和时域图卷积在骨架关节点信息提取过程中主要存在如下问题: (1) 在特征加权聚合中, 对所有层采
用固定的邻接矩阵, 将造成节点特征随网络加深而逐渐被同化的问题, 不能充分挖掘图节点之间的差异性; (2) 上
述图卷积操作在空域和时域上仅使用单尺度聚合关节点 1 阶邻域信息, 由于其感受野固定为 1, 限制了中心节点
与远端关节点之间的信息聚合; (3) 现有的时空图卷积通过交替执行 S-GC 和 T-GC 聚合关节点的时空信息, 其将
空域和时域信息同等对待, 不能充分挖掘关节点的时空关系特征, 无法有效处理空域与时域特征的不均衡问题, 因
此, 其在上下文时空特征提取中存在一定的局限性. 针对上述问题, 本文设计平行多尺度时空图卷积网络模型
(PMST-GNet), 如图 1 所示, PMST-GNet 模型通过设计以对角占优的时空注意力图卷积为基本单元的平行多尺度
子网络模块 (PM-SubGNet), 有效地对骨架关节的时空信息进行建模; 同时, 设计多尺度特征交叉融合模块
(MFEB), 加强不同尺度特征的交互, 提高模型性能.

连
DDA- STGConv BN&ReLU DDA- STGConv BN&ReLU DDA- STGConv BN&ReLU DDA- STGConv BN&ReLU 全 多尺度特征交叉融合模块(MFEB)
(l+1)
l
C
接
X 1
X 1
层
M(·)
G 1 MFEB 3D 姿态预测
输入2D骨架 X 2 l C X 2 (l+1)
数据 F(·)
DDA- STGConv BN&ReLU DDA- STGConv BN&ReLU MFEB DDA- STGConv BN&ReLU
(l+1)
l
C
X 3
M(·) G 2 MFEB 对角占优的时空注意力图卷积
X 3
DDA- STGConv BN&ReLU DDA- STGConv BN&ReLU DDA-STGConv
F(·) (DDA-STGConv)
M(·) G 3
A M A I
F(·)
邻接尺度图拓扑聚合函数F(·) DDA- STGConv BN&ReLU
M(·) G 4
同尺度图拓扑合并函数M(·)
关节点 权值计算 关节点自连接
平行多尺度时空图卷积网络模型(PMST-GNet)
自然连接
图 1 本文所提出的平行多尺度时空图卷积网络模型 (PMST-GNet)

2.1 对角占优的时空注意力图卷积
A 具有重要的作用, 如公式 (3) 和公式 (5) 所示, 其通
通过观察分析, 在图卷积网络特征更新过程中, 邻接矩阵
(l)
过 A 实现特征从 X (l) 到 X A 的更新. 传统 GCN 方法基于人体自然骨架结构构造相应的 A (1 表示节点相连, 0 表
示节点间不存在自然连接), 并且, 在所有的卷积层中都使用固定的 A . 这就决定了所设计的网络模型不管使用什
么结构, 采用多少个卷积层, 都保持固定的图拓扑结构, 其仅仅实现了从一个图映射到另一个图的作用. 但是, 对于
不同的动作, 关节点之间的关系是不同的, 这种固定的图拓扑结构将造成节点特征随网络加深而逐渐被同化的问
题 [9] . 此外, 大多数现有的方法将时空信息分解为时域和空域两部分, 仅通过堆叠执行 S-GC 和 T-GC 达到融合骨
架时空信息的目的, 然而, 当骨架关节点特征通过一系列如 S-GC 和 T-GC 的特征聚合操作后, 其不仅忽略了不同
帧中关节之间的相互关系, 而且无法有效处理空域与时域特征的不均衡问题, 限制了判别性特征的提取.
针对上述问题, 本文提出对角占优的时空注意力图卷积 (DDA-STGConv), 所设计的 DDA-STGConv 从时间和
空间维度出发对骨架关节点信息进行基于自约束和注意力机制约束的建模, 突出关节点自身对不同姿态的影响, 同
时, 在时空域图卷积中引入注意力机制, 自适应的提取不同节点之间的动态关联性, 加强中心关节与远端关节的信息
交互 [10] . 此外, 本文设计了一个跨域的时空邻接矩阵, 其将 T 帧关节的帧内和帧间连接关系进行融合, 依靠 2D 卷积
(l)
提取复杂的时空特征, 有效地对骨架关节的时空信息进行建模. 在此, 令 X ∈ R D l ×N 和 X (l+1) ∈ R D l+1 ×N 分别表示图卷积
第 l 层的输入和输出, 其中, D 和 N 分别表示图卷积节点特征向量的维度和节点的个数, 所设计的 DDA-STGConv
的特点是构建了一个跨域的时空邻接矩阵 A ST , 其将 T 帧关节的帧内和帧间连接关系进行融合, 表示为: