Page 172 - 《软件学报》2025年第9期

李文艺 等: 增量构造式随机循环神经网络 4083

在模型测试阶段选用与文献 [38] 相同的数据, 如下所示:

 ( πt )

 sin , t ⩽ 250


 25





 1.0, 250 < t < 500



x test (t) =  (28)
 −1.0, 500 < t < 750






 ( ) ( ) ( )
 πt πt πt

 0.3sin +0.1sin +0.6sin , 750 < t < 1000


25 32 10
算法 IR-1 与 IR-2 的参数为: L max = 100 C max = 10 ε = 0.033 r = 10 , λ W = 1 λ W in = 0.5 λ b = 1. 算法 IR-1 与
−9
,
,
,
,
,
IR-2 的实验结果分别如图 11 与图 12 所示. 由图 11(a) 与图 12(a) 可见算法 IR-2 使 IRRNN 收敛更快, 最终隐含节
点更少. 图 11 与图 12 中 (b), (c) 分别是 IRRNN 在测试集上的输出与误差, 由此可知算法 IR-2 的误差更小.
训练误差 0.2 训练误差 0.2
0.4
0.1
0 20 40 60 80 100 0 2 4 6 8
隐含节点数 时刻
(a) 训练误差变化 (a) 训练误差变化
1 1
实际值 实际值
输出 0 算法IR-1 输出 0 算法IR-2
−1 −1
0 200 400 600 800 1 000 1 200 0 200 400 600 800 1 000 1 200
时刻 时刻
(b) 测试输出 1 (b) 测试输出
1
测试误差 0 测试误差 0
−1
0 200 400 600 800 1 000 1 200 −1 0 200 400 600 800 1 000 1 200
时刻 时刻
(c) 测试误差 (c) 测试误差
图 11 算例 1 的实验结果 (算法 IR-1) 图 12 算例 1 的实验结果 (算法 IR-2)
采用 RNN, LSTM, GESN, PDSM-ESN 等模型进行实验对比, 各模型参数设定如下所述: RNN 与 LSTM 的学
习速率为 0.001, epoch=500, 隐含节点数为 20, 使用 Adam 优化算法. ESN 的输入权重取值范围为 [−2, 2], 储备池
大小为 50, 谱半径为 0.5, 储备池稀疏程度为 0.1. GESN 与 PDSM-ESN 的输入权重取值范围为 [−1, 1], 子储备池大
小为 5, 子储备池最大数为 10 个, 子储备池谱半径为 0.5, 终止误差为 0.033. 采用上方法进行 50 次独立实验, 实验
结果如表 1 所示. 由表 1 可知算法 IR-2 得到的参数量最少, 训练误差的平均值最小, 表现出良好的泛化性能. 由于
ESN 未进行网络结构的学习, 其一次性计算即可完成输出权重的学习, 因此其训练时间最短. IR-2 的训练时间小
于 RNN 与 LSTM. 在该实验中算法 IR-2 得到的模型紧凑, 有较好的精度.

表 1 算例 1 的实验结果

方法 隐含节点/参数量 训练时间 (s) 训练误差 (mean, std) 测试误差 (mean, std)
RNN 20/481 19.9 0.076, 0.006 0.140, 0.012
LSTM 20/1 861 1.17 0.087, 0.009 0.124, 0.016
ESN 50/350 0.016 0.110, 0.014 0.137, 0.015
GESN 50/350 0.083 0.107, 0.013 0.159, 0.017
PDSM-ESN 50/350 0.205 0.085, 0.007 0.094, 0.008
算法IR-1 100/400 14.97 0.045, 0.005 0.048, 0.005
算法IR-2 11/44 0.86 0.032, 0.004 0.046, 0.005