Page 165 - 《软件学报》2025年第9期

4076 软件学报 2025 年第 36 卷第 9 期

2.2 IRRNN 的学习方法
p
q
q
p
t t=1,2,...,N) 时刻的输入、输出分别为
假设动态系统 g : R → R 在 ( x(t) ∈ R , y(t) ∈ R . 矩阵 X = [x(1), x(2),
..., x(N)] ∈ R p×N 表示输入样本集, 矩阵 Y = [y(1),y(2),...,y(N)] ∈ R q×N 表示输出样本集. 建立一个 p 维输入 q 维输出

的 IRRNN 逼近动态系统 g 的学习过程可概述为如下: 首先, 构造含有单个隐含节点的 IRRNN 作为初始网络. 然
后, 每当需要给 IRRNN 添加新的隐含节点时, 先根据随机参数约束条件生成一组候选节点形成候选节点池, 再利
用贪婪策略从候选节点池中选择一个最优节点添加到已有 IRRNN 中, 最后计算增量后 IRRNN 的输出权重, 直至
IRRNN 的输出误差满足设定值或者隐含节点数达到最大值时停止学习. 整个学习过程主要包括隐含节点生成, 隐
含节点优选和输出权重计算 3 部分, 下面进行详细阐述.
(1) 隐含节点生成
in
随机生成的节点 f L (即 f L 的权重 w L 、 w 、 b L 是随机生成的, 其中 L ⩾ 2) 应满足以下不等式约束.
L
T
T
< (e j ) , s L (X) > 2
L−1 ⩾ r L (j = 1,2,...,q) (8)
T 2
T 2
∥(e j ) ∥ ∥s L (X) ∥
L−1
∞ ∏
T
N
其中, s L (X) ∈ R 表示节点 f L 的所有输出状态, (e j ) ∈ R 如公式 (7) 中所示, r L 为非负数, 且 (1−r L )=0.
T
N
L−1
L=1
当 L = 1 时, 令公式 (7) 中 y 0 (X) = 0, 初始误差 e 0 = Y −0 = Y, 再按公式 (8) 约束条件生成隐含节点 f 1 .
为简化设计, 在实际应用中公式 (8) 中的 r L 可取为较小的正实数 r. 为确保网络稳定性, 根据第 2.4 节定理 7,
in
f L 的反馈权重满足 0 < |w | < 1.
L
(2) 隐含节点优选
我们希望对新增隐含节点 f L 进行优选, 使 f L 更有效率, 避免由于随机的盲目性而产生低效节点. 为叙述方便
j
ξ j = 1,2,...,q), 如下所示.
引入变量 (
L
T
T
< (e j ) , s L (X) > 2
j
ξ = L−1 −r L (9)
L
T 2
T 2
∥(e j ) ∥ ∥s L (X) ∥
L−1
j
j
j
其中, s L (X) 表示 f L 的所有输出状态, 公式 (8) 简记为 ξ ⩾ 0. 对于第 维输出误差 e L−1 来说, ξ 越大, 隐含节点 f L 的
j
L
L
效率越高. 令:

∑ q
ξ L = ξ j (10)
j=1 L
对于输出误差 e L−1 来说, ξ L 越大, 隐含节点 f L 的效率越高. 基于上述分析, 本文采用候选节点池策略对隐含节点 f L
进行贪婪优选, 其基本思想是: 首先, 按照公式 (8) 的约束条件随机生成 C max C max > 1 表示候选节点池容量) 个节点形
(
成候选节点池 (记为 Ξ); 然后从 Ξ 中选择使 ξ L 最大化的节点 f L 作为最优隐含节点. 其优选过程可用公式 (11) 表示.

{ }
q
∑
j
j
f L = argmax ξ L = ξ | ξ ⩾ 0 (11)
L
L
j=1
f∈Ξ
节点 f L 添加到 y L−1 后, 增量之后的网络 y L 的隐含层输出矩阵 S L (X) 如下所示:
 
 S L−1 (X) 
   
S L (X) =     (12)
 
s L (X)
其中, s L (X) 表示第 L 个隐含节点 f L 的所有输出状态组成的向量, 如公式 (4) 所示. S L−1 (X) 表示增量之前的网络
y L−1 的隐含层输出矩阵, 如公式 (5) 所示. 其中 L ⩾ 2, 当 L = 1 时 S 1 (X) = s 1 (X).
(3) 输出权重计算
f 1 为 IRRNN 的第 1 w 1 、 w 、 . 此时 IRRNN 仅含有单个
in
当 L = 1 时, 最优节点 个隐含节点, 其相应参数为 1 b 1
T in in
隐含节点, 其输入权重矩阵 W 1 = w , 反馈权重矩阵 W = w , 偏置量 B 1 = b 1 .
1 1 1
T
当 L > 1 时, 最优节点 f L 添加到 y L−1 之后, 增量之后的网络 y L 的输入权重矩阵 W L = [W T ,w L ] , 反馈权重矩阵
L−1
T
in
in
in
W = diag(W in , w ), 偏置量 B L = [B T ,b L ] , 其中 w L 、 w 、 b L 是 f L 的相应参数. 根据输出权重计算方法不同, 本
L L−1 L L−1 L
文设计了 IRRNN 的两种增量式随机学习算法 (incremental random, IR), 即算法 IR-1 与算法 IR-2.