Page 168 - 《软件学报》2025年第9期

李文艺 等: 增量构造式随机循环神经网络 4079

1.00 l 1 : s i (t)=s i (t−1) C
l 2 : s i (t)=f i (1.7s i (t−1)−0.1)
0.75
0.50
0.25 B
输出s i (t) −0.25 0 (0, 0) M

−0.50 l 1
−0.75 l 2
A
−1.00
−1.00 −0.75 −0.50 −0.25 0 0.25 0.50 0.75 1.00
输入s i (t−1)

图 2 隐含节点的平衡点

定理 3 证明了 IRRNN 平衡点的存在性. 定理 4 给出了其稳定平衡点的解析计算方法. 定理 5 可以判断该平衡
点是否稳定. 定理 6 给出了稳定平衡点的稳定域的确定方法. 定理 7 表明如果每个新增随机节点有唯一稳定平衡
点, 则 IRRNN 有全局唯一稳定平衡点, 此时随时间的推移, 初始状态对输出的影响可以忽略. 定理 7 进一步表明
当 IRRNN 有唯一稳定平衡点时, 相同的输入会产生相同的输出, 避免初始状态对网络稳态输出的影响, 进而避免
初始状态对泛化性能的影响. 同时定理 7 为算法 IR-1 与算法 IR-2 提供了直接的理论支撑, 根据定理 7, 在算法 IR-1
与算法 IR-2 中应设定随机权重 0 < |w | ⩽ 1.
in

2.5 算法实现
根据第 2.2 节中新增节点学习过程表述, 算法 IR-1 与算法 IR-2 的伪代码如下所示. 算法 IR-1 伪代码如算法 1.
算法 1. 算法 IR-1.

训练数据: X ∈ R p×N , Y ∈ R q×N .
p
初始化: 最大隐含节点数 L max , 候选节点池 Ξ 容量 C max , 输出容许误差 ε, 实数 , , [−λ W ,λ W ] 、
r L = 1 e 0 = Z. 输入权重范围
in
.
反馈权重范围 [−λ W in,λ W in]、偏置量范围 [−λ b ,λ b ] Ω, Ξ : = [], 输入, 反馈, 输出与偏置量参数 W, W , V, B : = [].
1. WHILE L < L max and ||e 0 || > ε Do
//第 1 阶段: 隐含节点生成 (步骤 2–11)
2. FOR k = 1 : C max //生成容量为 C max 的候选节点池
p
in
,
w L ∈ [−λ W ,λ W ] ,b L ∈ [−λ b ,λ b ] w ∈ [−λ W in,λ W in],
3. 随机生成 L
4. 根据公式 ξ ( j = 1,2,...,q)
j
(9) 计算
L
q
1
2
5. IF min { ξ ,ξ ,...,ξ } > 0
L L L
6. 根据公式 (10) 计算 ξ L , 保存 ξ L 到 Ω 中.
7. 保存相应 w L ,b L ,w in 到 Ξ 中, 转步骤 2.
L
8. ELSE
9. 转步骤 3.
10. END IF
11. END FOR //结束第 2 步循环
//第 2 阶段: 隐含节点优选 (步骤 12–15)
12. IF Ξ 非空
in
13. 取 Ω 中最大 ξ L 所对应 Ξ 中的 w L ,b L ,w in L 分别保存到 W,B,W .
S 1 (X) = f 1 (X), 否则按公式 S L (X).
14. 若 L = 1, 则 (12) 构造
15. END IF