Page 381 - 《软件学报》2026年第3期

1344 软件学报 2026 年第 37 卷第 3 期

具体来说, TPAM 模块首先将输入的时序特征 H ∈ R T×D 视为一个长度为 T 、维度为 D 的特征图. 然后, TPAM
,
分别应用空间卷积核 W s1 W s2 和时间卷积核 W t1 W t2 对输入特征图进行两层时空卷积操作. 第 1 层空间卷积和时
,
间卷积操作可以分别表示为:

F s1 = W s1 ⊗ H (1)

F t1 = W t1 ⊗ H (2)
其中, F s1 和 F t1 分别表示第 1 层空间卷积和时间卷积的输出特征图, ⊗ 表示卷积运算.

时序模式激活模块 时间序列建模网络
TPAM Temporal modeling network
Out Output sequence:
seq_len×dim
线性投影 W p
Transformer 编码器
Hadamard Encoder layer
Out
tanh Sigmoid Add and norm
TPAM layer
Feed forward
时间卷积 空间卷积 Encoder layer
W t2 W s2 Add and norm
TPAM layer
Multi-head
attention
时间卷积 空间卷积 Encoder layer Q K V
In
W t1 W s1
Encoder layer
In
Input sequence:
seq_len×dim
图 2 基于时空特征融合的时序建模网络架构图

第 2 层空间卷积和时间卷积操作以第 1 层的输出作为输入:

(3)
F s2 = W s2 ⊗ F s1

(4)
F t2 = W t2 ⊗ F t1
其中, F s2 和 F t2 分别表示第 2 层空间卷积和时间卷积的输出特征图.
接着 TPAM 模块分别对 F s2 和 F t2 应用 Sigmoid 和 tanh 激活函数, 并将激活后的特征图进行 Hadamard 乘积,
得到融合了时空信息的特征图:

F st = σ(F s2 )⊙ϕ(F t2 ) (5)
其中, Sigmoid 函数 σ 用于空间特征, 将输出范围控制在 0–1 之间, 可解释为空间维度上的注意力权重; tanh 函数 ϕ
用于时间特征, 输出范围在 [−1, 1] 之间, 保留了时间特征的方向信息. 通过 Hadamard 乘积 ⊙ 将两种激活后的特征
进行融合, 使得空间特征可以作为门控机制来控制时间特征的信息流动. 当空间特征的 Sigmoid 输出接近 1 时会
保留相应的时间特征, 而输出接近 0 时则会抑制相应的时间特征. 这种设计既实现了特征的选择性融合, 也保持了
时间特征的动态变化信息.
最后 TPAM 模块通过一个线性投影层将 F st 的通道数映射回原始维度 D (即 H 的通道数), 并将结果与输入特
′
征 H 相加, 得到最终的输出特征 H :

′ (6)
H = H +W p F st
其中, W p 是线性投影层的权重矩阵.
TPAM 模块通过时空卷积, 同时捕捉时序数据的空域和时域特征. 空间卷积提取特征维度间的依赖关系, 时间
卷积捕捉数据随时间变化的动态模式. 这两种卷积结合, 使 TPAM 模块能学习到全面的特征表示.
如图 2 所示, 我们采用了一种层次化的特征提取策略, 将 TPAM 模块嵌入到 Transformer 架构中. 具体地, 我