Page 169 - 《软件学报》2025年第9期

4080 软件学报 2025 年第 36 卷第 9 期

//第 3 阶段: 计算输出参数 (步骤 16, 17)
16. 按公式 (13) 计算并构造 v L , 保存 v L 到 .
V
17. 计算 ||e L || = ||Y −VS L (X)||, 更新 ||e 0 || := ||e L ||,L := L+1.
18. END WHILE
in
19. RETURN V, W, W , B
算法 IR-2 伪代码见算法 2.
算法 2. 算法 IR-2.

训练数据: 同算法 IR-1.
∗
初始化: 输出权重 V := [], 其余参数同算法 1.
1. WHILE L < L max and ||e 0 || > ε Do
//第 1、2 阶段: 与 IR-1 第 1、2 阶段相同.
//第 3 阶段: 确定输出参数 (步骤 2, 3)
2. 根据公式 (16) 计算 V = YS L (X) ,
+
∗
,
∗ ∗ ∗
3. 计算 ||e || = ||Y −V S L (X)||, 更新 ||e 0 || := ||e || L := L+1
L
L
4. END WHILE
5. RETURN V , W, W , B
in
*
第 L 个隐含节点 f L 添加到 IRRNN 后, 利用算法 IR-1 计算输出权重的时间复杂度为 O(NL); 利用算法 IR-2 计
O(NL )(采用 QR 分解计算逆矩阵). 上述分析表明, 对于单独一次计算, 算法 IR-2 的
2
算输出权重的时间复杂度为
时间复杂度较大, 但是后继实验表明利用算法 IR-2 训练 IRRNN 时需要较少的隐含层节点即可实现较好的学习效
果, 因此实际应用中算法 IR-2 耗时未必偏大.
在设定参数时满足: λ W > 0 0<λ W in ⩽ 1 λ b > 0. 算法 IR-1 伪代码中“取 Ω 中最大 ξ L 所对应 Ξ 中的 w L , b L , w in 分
,
,
L
别保存到 W, b, W in 中”即是执行公式 (11) 的优选操作 (从 Ξ 中选择使最优隐含节点 ).
f L

3 仿真实验
第 3.1 节验证 IRRNN 中隐含节点的动态特性. 第 3.2 节进行了动态系统逼近实验与时间序列预测实验. 第
3.3 节用 IRRNN 对水泥熟料中游离氧化钙 (f-CaO) 进行软测量, 验证本文模型解决实际问题的能力. 用本文方法
与单层 RNN、单层 LSTM、ESN、GESN [33] 、PDSM-ESN [34] 等方法进行实验比较. 用网络的紧凑性、训练时间、
网络精度 (均方误差根和 RMSE) 作为评价指标, RMSE 的计算如公式 (25) 所示:

√
1 ∑ N
RMSE = ˆ y(t)−y(t) (25)
N t=1
其中, y(t) 为真实值, ˆ y(t) 为网络输出值, N 为样本数量. 实验中给出了多次实验 RMSE 的平均值及其标准差. 实验
硬件环境: Core(TM) i3-10100 CPU@3.60 GHz. 操作系统 Windows 10, 编程语言为 Python, 编程环境为 Spyder 3.

3.1 IRRNN 的动态特性仿真
in in in
,
首先改变激活函数 s(t) = f(w s(t −1)+b) 的参数 w 与 b, 验证其动态特性与权重之间的关系. 当 w = 0.7 b
分别取{−0.8, −0.1, 0.1, 0.8}时, 隐含节点的唯一平衡点分别为{−0.89, −0.30, 0.30, 0.89}. 隐含节点初始状态分别为
{−0.99, −0.594, −0.198, 0.198, 0.594, 0.99}时, 其零输入响应如图 3 中曲线所示. 由图 3 可知, 当 b 改变时, 平衡点位
置随之改变, 但是隐含节点最终收敛到相应的稳定平衡点 (如图 3 中 A, B, C, D 所示).
w = 1.7 b = −0.3 时, 隐含节点 3 个平衡点分别是{−0.959, 0.498, 0.753}. 其中, 0.753 和−0.959 是稳定平衡
in
,
当
点, 0.498 是不稳定平衡点. 从 [−1,1] 随机取 50 个值做为初始状态, 其输出响应如图 4 所示. 由图 4 可知: 初始状态