Page 422 - 《软件学报》2025年第4期

1828 软件学报 2025 年第 36 卷第 4 期

(l)
(l)
(l)
H (l+1) = Γ (l) f((Γ H ),Θ ) (49)
f∗τ b∗τ d
其中, Γ 表示前面的一维扩展卷积核, Γ 表示后面的一维扩展卷积核, Θ (l) 表示谱超图卷积核, H (l+1) 表示第 l+1
f b
层输出. 该部分可以用图 8 表示, 图中进行了两次卷积操作, 分别用 Γ 和 Γ 进行表示, ⊙ 表示 Hadamard 积, ∗ 表示
′
标准卷积.

ST block
Y i
Temporal Conv
Hypergraph
1D-
1D-
Conv Conv#1 Conv#2
Temporal Conv Γ Γ′
~
Temporal Conv 1−σ Sig σ Sig σ Sig
Hypergraph
Conv
5.1 基于时间序列的大模型
Temporal Conv Y o

图 8 DSTHGCN 的时间卷积部分 [39]

基于动态超图的时空融合架构总结可见表 4.

表 4 基于动态超图的时空融合架构

方法 类型 算法描述 缺陷 应用
在时空超图卷积模块采用内注意力和外注意力机制学习空间
DyHCN [40] 维度的节点和超边的嵌入传播, 并与通过线性转换得到的时间 随着节点和超边数量 股票价格预测
增长, 计算量较大
嵌入连接融合, 再通过基于LSTM的协同预测学习时间依赖
串联分别通过直接卷积对空间和犯罪、时间和犯罪进行的局 随着节点和超边数量
ST-HSL [38] 非谱域方法 犯罪预测
部编码, 并通过对比学习协同学习局部和全局空间和时间关系 增长, 计算量较大
通过推导出的超图关联矩阵进行超图卷积更新节点表示, 用交
DyHSL [41] 互式图卷积建模高阶时空关系并整合成多尺度提取模块进行 由于模型减少了参数, 交通流预测
可能有过拟合风险
局部池化提取时间信息
分别根据地铁网络拓扑和地铁流量构造两级超图并连接成一
[39] 超图结构是预定义的,
DSTHGCN 谱域方法 个超图, 通过谱域直接超图卷积提取空间信息, 并前后与时间 地铁客流预测
卷积层串联和门控机制融合时空信息 不具有自适应性

5 时空大模型

大模型, 具体指大语言模型 (LLM) 和预训练基础模型 (PFM) [16] , 是深度学习领域的一项新兴技术, 具有参数
数量庞大, 层数较多等特点. 目前基于大模型的研究主要在自然语言处理、计算机视觉和多模态融合方面取得突
破性进展. 而在时间和空间信息融合的挖掘上, 大模型也展现出广阔的前景. 因此在本节中, 面向两种与时空信息
提取相关的不同类型的数据进行大模型的介绍, 分别为时间序列和图.

时序预测作为一项在时间序列中预测未来趋势的任务, 通常面临长距离依赖, 高维数据和对抗噪声等关键问
题. 而大模型的出现有助于有效解决上述问题, 成为气候预测、金融风险预测、交通预测等领域的有力工具. 基于
时序的大模型研究主要可分为两大类, 第 1 类是时序领域基础大模型, 第 2 类是使用现有大模型处理时间序列, 在
本节中将分别对这两类研究进行简要的介绍.

5.1.1 时序领域基础大模型
TimeGPT [42] 是美国 Nixtla 公司提出的业界第 1 个基于时间序列的预训练基础通用大模型. 由于 Transformer