Page 174 - 《软件学报》2025年第9期

李文艺 等: 增量构造式随机循环神经网络 4085

数据, 前 1 000 个数据为训练集, 后 1 000 个为测试集. 模型训练时输入为 [x(t), x(t + 4), x(t + 8), x(t + 12), x(t + 16)] ,
T
y(t) = x(t +22). 算法 IR-1 与 IR-2 的参数如下: , −9 ,

输出为 L max = 200, C max = 3 ε = 2E−4, r = 10 , λ W = 1 λ W in = 1,
λ b = 0.5. 算法 IR-1 与 IR-2 的实验结果如图 15 与图 16 所示. 由图 15(a) 与图 16(a) 可知算法 IR-2 使 IRRNN 收敛
更快, 隐含节点更少. 图 15 与图 16 中 (b)、(c) 分别是算法 IR-1 与 IR-2 在测试集上的部分输出及其误差, 由此可
知算法 IR-2 的误差更小.
0.15
训练误差 0.10 训练误差 0.1
0.05
0 50 100 150 200 250 300 0 0 50 100 150 200 250 300
隐含节点数 隐含节点数
(a) 训练误差变化 (a) 训练误差变化

输出 0 实际值 输出 0 实际值
算法IR-1
−0.5 −0.5 算法IR-2
0 100 200 300 400 500 600 700 0 100 200 300 400 500 600 700
时刻 时刻
(b) 测试输出 (b) 测试输出
测试误差 −0.25 0 测试误差 −0.000 5 0
0.000 5
0.25
0 100 200 300 400 500 600 700 0 100 200 300 400 500 600 700
时刻 时刻
(c) 测试误差 (c) 测试误差
图 15 算例 3 的实验结果 (算法 IR-1) 图 16 算例 3 的实验结果 (算法 IR-2)

分别采用 RNN, LSTM, ESN, GESN, PDSM-ESN 等方法进行 50 次独立实验, 实验结果如表 3 所示. 其中
RNN 与 LSTM 的学习速率为 0.001, epoch=500, 隐含节点为 150, 用 Adam 优化算法. ESN 输入权重取值范围为
[−1, 1], 储备池大小为 250, 谱半径为 0.5, 储备池稀疏程度为 0.1. GESN 与 PDSM-ESN 的输入权重取值范围为
[−1, 1], 子储备池大小为 5, 子储备池最大数为 50, 终止误差为 0.000 2. GESN 的谱半径为 0.5, PDSM-ESN 子储备
池的谱半径小于 1. 由表 3 可知, 针对该实验 LSTM 有最好的预测效果, 但是其参数量要远多于算法 IR-2, 且 IR-2
与 LSTM 测试集上的误差相差不大. 结果表明 IR-2 得到的模型结构紧凑, 有较好的精度.

表 3 算例 3 的实验结果

方法 节点数/参数个数 训练时间 (s) 训练误差 (mean, std) 测试误差 (mean, std)
RNN 150/23 701 25.12 3.6E–4, 4.7E–5 6.6E–4, 8.2E–5
LSTM 150/94 351 4.42 3.2E–4, 9.7E–6 4.2E–4, 7.6E–5
ESN 250/7 750 0.198 4.5E–4, 5.1E–5 5.6E–4, 6.2E–5
GESN 250/2 750 1.92 4.3E–4, 3.9E–5 4.8E–4, 5.5E–5
PDSM-ESN 250/2 750 3.11 3.8E–4, 3.2E–5 4.4E–4, 5.2E–6
算法IR-1 300/2 400 10.25 2.1E–2, 3.2E–3 3.6E–2, 4.9E–5
算法IR-2 200/1 600 11.44 3.6E–4, 6.5E–5 4.6E–4, 7.8E–5

算例 4: Henon map 系统时间序列预测. Henon map 系统如公式 (31) 所示.


2
 x(t +1) = y(t)−ax(t) +1


(31)




 y(t +1) = bx(t)
T
T
Henon map 系统是一个具有混沌行为的离散动态系统, 该系统把点 [x(t),y(t)] 映射为点 [x(t +1),y(t +1)] , 当