Page 166 - 《软件学报》2025年第9期

李文艺 等: 增量构造式随机循环神经网络 4077

● 算法 f L 的输出权重. v L = [v ,v ,...,v ] , 其中 ( j = 1,2,...,q) 的计算
j
q T
2
1
v
f L 的输出权重
IR-1: 仅计算新增节点
L L L L
如公式 (13) 所示:

T
T
< (e j ) , s L (X) >
j
v = L−1 (13)
L
T 2
||s L (X) ||
t t = 1,2,...,N) 时刻的输出如公式
y L 在 ( (14) 所示:
增量后网络

y L (t) = y L−1 (t)+v L s L (t) (14)
其中, f L 的输出状态. V L = [V L−1 ,v L ] X 输入后, y L 的所有输出如公式 (15) 所示:
.
s L (t) 为新增隐含节点 y L 的输出权重
y L (X) = [y L (1), y L (2),...,y L (N)] = V L S L (X) = y L−1 (X) + v L s L (X) (15)
若输出误差 e L = Y −y L (X) 不满足设定值且隐含节点数未达到最大设定值, 则继续添加新的隐含节点.
● 算法 IR-2: 计算更新 IRRNN 的所有输出权重. 输出权重矩阵满足:

∗ ∗ ∗ ∗
V = [v ,v ,...,v ] = argmin||Y −V L S L (X)|| (16)
L
L
2
1
V L
由最小二乘法可得:

V = [v ,v ,...,v ] = YS L (X) + (17)
∗
∗
∗
∗
1
2
L
L
∗
∗
其中, S L (X) + 为 S L (X) 的 Moore-Penrose 逆矩阵. 添加 f L 之后, 增量后的网络记为 , y 所有输出为:
y

L L
∗
∗
∗
∗
∗
∗
y (X) = [y (1), y (2),...,y (N)] = V S L (X) = y ∗ (X) + v s L (X) (18)
L L L L L L−1 L
q∗ T T
1∗ T
2∗ T
其中, v 表示新增隐含节点 f L 的输出权重. y 的输出误差 e = [(e ) , (e ) ,..., (e ) ] = Y −y (X). 在 时刻 y 的
t
∗
∗
∗
∗
∗
L
L
L
L
L
L
L
L
输出为:

∗
∗
y (t) = y ∗ L−1 (t)+v s L (t) (19)
L
L
其中, y (t) y ∗ (t) 分别表示增量前网络 y 与增量后网络 y ∗ 在 t 时刻的输出, 若输出误差 e 不满足设定值且隐含
,
∗
∗
∗
L L−1 L L−1 L
节点数未达到最大设定值, 则继续添加新的隐含节点.
上述两种算法分别从局部优化与全局优化的角度考虑对网络输出权重进行优化, 两种算法的差异如下: 当有
新增节点时, 算法 IR-1 仅计算新增节点 f L 的输出权重, 其余节点的权重保持不变, 这体现了局部优化的思想. 当有
新增节点时, 算法 IR-2 重新增量后网络的所有输出权重, 这体现了全局优化的思想.

2.3 IRRNN 的逼近性能
由第 2.2 节可知算法 IR-1 与算法 IR-2 是 IRRNN 输出权重的两种计算方法, 本节定理 1 证明算法 IR-1 具有
万能逼近能力. 借助定理 1 的结论, 定理 2 证明了算法 IR-2 也具有万能逼近能力. 文中 ∥·∥ 表示向量的 2 范数, 或
F 范数.
者矩阵的
定理 1. X = [x(1), x(2),..., x(N)] ∈ R p×N , Y = [y(1),y(2),...,y(N)] ∈ R q×N 分别为动态系统的输入与输出; y L−1 为含
L−1 个隐含节点的 y L−1 (X) ∈ R q×N , 输出误差如公式
有 IRRNN, 其输入为 X, 输出为 (7) 所示; 给定非负数列 {r L },
∞ ∏
q T
2
1
满足 (1−r L ) = 0; 若第 L 个隐含节点 f L 的所有输出状态 s L (X) 满足公式 (8), f L 的输出权重为 v L = [v ,v ,...,v ] ,
L L L
L=1
v j = 1,2,...,q) 如公式
j
其中 ( (13) 所示. 把 f L 添加到 y L−1 后, 新增之后的 IRRNN 为 y L , 其输出 y L (X) 如公式 (15) 所
L
lim ∥Y −y L (X)∥ = 0.
示, 则
L→∞
j
,
证明: 分别从 e L−1 e L 中取 e j , e ( j = 1,2,...,q). 新增节点 f L 使公式 (8) 成立, f L 的输出权重按公式 (13) 计
L−1 L
算, 得:

j T 2 j T j T T j T j T
||(e ) || ((e ) −v s L (X) ) ((e ) −v s L (X) )
L = L−1 L L−1 L
T 2
||(e j ) || ||e j || 2
L−1 L−1
T
T
< (e j ) , s L (X) > 2
= 1− j L−1 ⩽ 1−r L < 1 (20)
||(e ) || ||s L (X) ||
T 2
T 2
L−1