Page 192 - 《武汉大学学报(信息科学版)》2025年第6期
P. 192
1214 武 汉 大 学 学 报 (信 息 科 学 版) 2025 年 6 月
图 3 CNN 分类器示意图
Fig. 3 Schematic Diagram of CNN Classifier
本 文 构 建 了 一 个 具 有 3 个 128 维 隐 藏 层 的
MLP 模 型 ,每 个 隐 藏 层 中 使 用 了 ReLU 激 活 函
数,输出层则使用了 Softmax 函数。
3)LSTM。 LSTM 是 循 环 神 经 网 络(recur‑
rent neural network, RNN)的 变 体 [28] ,通 过 引 入
记忆单元机制解决 RNN 网络训练存在的梯度和
长时间记忆的问题 [29] ,从而在处理具有长期依赖
特性的时序数据时表现出显著性能优势。记忆
图 4 MLP 模型基本结构 单 元 主 要 由 记 忆 门 、遗 忘 门 和 输 出 门 等 结 构 组
Fig. 4 Basic Structure of the MLP Model 成。3 个门分别决定了长期记忆的保留程度、输
加上偏置值。计算如下: 入 单 元 的 嵌 入 程 度 以 及 短 期 记 忆 的 可 见 程 度 。
n LSTM 网络通过细胞状态实现时间序列数据的
z = ∑ w i x i + b (1)
i = 1 稳定传输和学习,在此基础上的门机制被用来控
式中, w i 是输入的权重; x i 是输入值;b 是偏置;z 是 制信息的删除和添加。细胞状态是 LSTM 单元
加权和。将输出结果 z 代入激活函数 f,即可产生单 最关键的部分,它是整个网络中的“记忆”。细胞
个神经元的输出结果。以 f=sign为例,计算公式为: 状态将信息从一个时间步传递到下一个时间步,
ì+1,h > 0 遗忘门决定保留多少上一时刻的记忆。LSTM
Y = f ( z) = sign( z) = í (2)
î -1,h ≤ 0 细胞单元基本结构如图 5 所示。
图 5 LSTM 细胞单元结构
Fig. 5 The Structure of LSTM cell Units