Page 167 - 《软件学报》2025年第9期

4078 软件学报 2025 年第 36 卷第 9 期

j
j T
j T
j
随着 L 的增大, ||(e ) || 单调递减. 令 e 为 Y 的第 行, 若 ||(e ) || , 0, 则有:
L 0 0
j T 2 j T 2 j T 2 j T 2 L ∏
||(e ) || ||(e ) || ||(e ) || ||(e ) ||
1 2 L L ⩽
× ×...× = (1−r i ) (21)
j T 2 j T 2 j T 2 j T 2
||(e ) || ||(e ) || ||(e ) || ||(e ) ||
0 1 L−1 0 i=1
∞ ∏
由 (1−r L ) = 0, 因此:

L=1
j T 2 L ∏
||(e ) ||
L
lim ⩽ lim (1−r i ) = 0 (22)
j T 2
L→∞ ||(e ) || L→∞
0 i=1
∑ q
j 2 2 2
得 lim ||e || = 0. 由于 ||e L || = ||e L,i || , 所以有:
L i=1
L→∞
(∑ q )
2
2
T 2
T
lim ||Y −y L (X)|| = lim ||e || = lim ||e || = 0 (23)
L L,j
L→∞ L→∞ L→∞ j=1
由公式 (23) 可知定理 1 成立. 证毕.
定理 2. X = [x(1), x(2),..., x(N)] ∈ R p×N , Y = [y(1),y(2),...,y(N)] ∈ R q×N 分别为动态系统的输入与输出; y L−1 为含
L−1 个隐含节点的 y L−1 (X) ∈ R q×N , 输出误差如公式 (7) 所示; 隐含层输出矩阵
有 IRRNN, 其输入为 X, 输出为
∞ ∏
S L−1 (X) 如公式 (5) 所示; 给定非负数列 { r L } , 满足 (1−r L ) = 0; 若第 L 个隐含节点 f L 的输出状态 s L (X) 满足公
L=1
式 (8), 把 f L 添加到 y L−1 后, 隐含层输出矩阵 S L (X) 如公式 (12) 所示, 新增之后的网络为 y , 其输出如公式 (18) 所
∗
L
V 如公式 ∗
∗
示. 其中输出权重 (16) 所示, 则 lim ||Y −y (X)|| = 0.
L L
L→∞
证明: 由公式 (16) 可知 V = YS L (X) 是 Y = V L S L (X) 的极小范数最小二乘解, 由极小范数最小二乘解的性质
+
∗
L
∗ ∗ ∗
可知 V 使得误差范数 ||e || = ||Y −V S L (X)|| 最小, 即:
L L L
∗ ∗
||e || = ||Y −V S L (X)|| ⩽ ||Y −V S L (X)|| = ||e L || (24)
L L L
其中, V L 中元素按照定理 1 计算. 由定理 1 可知 lim ||e L || = 0, 所以 lim ||e || = 0. 证毕.
∗
L
L→∞ L→∞
2.4 IRRNN 的动态特性
IRRNN 是一个动态系统, 因此必须了解其动态特性才能更好地应用该模型. 由公式 (3) 可知 IRRNN 的输出是
隐含节点状态的线性叠加, 因此研究单个隐含节点的动态特性对于研究 IRRNN 的动态特性有重要意义. 本节首先
给出单个隐含节点动态特性的相关结论, 然后给出 IRRNN 稳定性条件.
in
IRRNN 中第 i 个隐含节点在 时刻的输出状态 s i (t) = f i (w i x(t)+w s i (t −1) + b i ), 其中 x(t) 为输入, s i (t −1) 为前
t
i
一时刻的输出状态, w i 为输入权重, w in 为反馈权重, b i 为偏置量. 当外部输入为 0 时, 第 i 个隐含节点的状态 s i (t) =
i
in f i 的输入、输出关系如图 s i (t −1), 纵轴表示
f i (w s i (t −1) + b i ), 此时激活函数 2 中曲线 l 2 所示, 其中横轴表示输入
i
输出 s i (t). 当 f i 处于平衡点时, 输入与输出相等, 即 s i (t) = s i (t −1), 因此平衡点是直线 l 1 : s i (t) = s i (t −1) 与曲线 l 2 的
.
,
,
in
交点. 例如 w =1.7, b i =−0.1 时, l 2 与 l 1 的 3 个交点是 A(−0.934,−0.934) B(0.144,0.144) C(0.887,0.887) l 2 与横轴

i
M= 0.059, 如图 2 w in l 1 的交点发生变化 (即平衡点的数量
的交点是 所示. 当 与 b i 变化时 M 的位置改变, 同时 l 2 与
i
w w ,
与位置改变). 为表达简洁, 以下定理中及仿真实验中用 f 表示隐含节点 , 用 , in b 表示其相应权重.
f i
定理 3. 每个隐含节点必定有平衡点, 平衡点个数可能是 1 个、2 个或者 3 个.
定理 4. 如果 f(f(s)) = s 的解不是隐含节点平衡点, 则必定是隐含节点的震荡点.
定理 5. f (s e ) 是激活函数 f 在平衡点 s e 处的导数, 当 | f (s e )| < 1 时, s e 是稳定平衡点; 当 | f (s e )| > 1 时, s e 是不
′
′
′
′ ′
稳定平衡点; 当 | f (s e )| = 1 时, 不能用 | f (s e )| 判定平衡点 s e 的稳定性.
定理 6. 若 s e1 < s e2 < s e3 是隐含节点的 3 个平衡点, 则 s e2 是不稳定平衡点, s e1 和 s e3 是两个稳定平衡点, s e1 和
,
s e3 的稳定域分别为 (−1, s e2 ) (s e2 ,1).
定理 7. 当 IRRNN 中任意隐含节点的反馈权重 0 < |w | ⩽ 1 时, IRRNN 有唯一稳定平衡点, 且 IRRNN 的稳态
in
输出由输入唯一确定与隐含节点的初始状态无关.
定理 3–定理 7 的证明过程见本文附录.