Page 181 - 《软件学报》2025年第9期

4092 软件学报 2025 年第 36 卷第 9 期

输出由输入唯一确定与隐含节点的初始状态无关.
证明: 由于 IRRNN 的输出是隐含状态的线性叠加, 因此若能证明任意隐含节点的反馈权重 0 < |w | ⩽ 1 时, 该
in
隐含节点有唯一稳定平衡点, 且稳态输出与初始状态无关, 则可证明该定理.
in x(t). 设
(
w, w , b 表示任意隐含节点的输入权重, 反馈权重与偏置量, 隐含节点的状态记为 s(t) ∈ R t ⩾ 0), 输入为
II
,
I
II
(
I
该隐含节点的任意两个初始状态 s (0) s (0) 所对应的输出状态分别为 s (t), s (t) t ⩾ 1), 由拉格朗日中值定理可知:

II
in I
I
in II
s (t)− s (t) = f(wx(t)+w s (t −1)+b)− f(wx(t)+w s (t −1)+b)
I
II
′
= f (η t )(s (t −1)− s (t −1)) (A10)
可得:

 II I ′ II I
s (1)− s (1) = f (η 1 )(s (0)− s (0))



 II I II I II I
s (2)− s (2) = f (η 2 )(s (1)− s (1)) = f (η 2 )f (η 1 )(s (0)− s (0))
′
′
′



 (A11)
 ...



 )
 (∑
 t
 II I II I
s (t)− s (t) = f (η i ) (s (0)− s (0))
′

i=1
in
若 |w | < 1, 则对于任意 , 有:
η t
in
2
′
|f (η t )| = |(1− f(η t ) )w | < 1 (A12)
因此,

(∑ )
t
lim f (η i ) = 0 (A13)
′
t→∞ i=1
I
II
即 t → ∞ 时 s (t)− s (t) = 0.
in |f (−b)| = |(1− f(−b) )| = 1 取最大值. 此时曲
2
′
当 |w | = 1 时, 激活函数为 s(t) = f(s(t −1)+b). 当 s(t −1) = −b 时,
线上任意两个点 ( s (t −1), s (t)) 与 (s (t −1), s (t)) 之间的斜率的绝对值小于. 仅当 s (t −1) → −b s (t) = −b(或
I
I
,
II
II
I
II
II
I
s (t −1) = −b s (t) → −b) 时, 有:
,

I II

′ lim f(s (t −1))− f(s (t −1)) = 1 (A14)
|f (−b)| =
II
I
s
II (t−1)→−b s (t −1)− s (t −1)
s
I (t−1)=−b
II I ′
因此, 若 s (t −1) , s (t −1), 必定有 f (η t ) < 1. 可得:

(∑ )
t
lim f (η i ) = 0 (A15)
′
t→∞ i=1
I
II
即 t → ∞ 时 s (t)− s (t) = 0.
in
上述过程表明 0 < |w | ⩽ 1 时, 任意隐含节点有唯一稳定平衡点, 且稳态输出与初始状态无关. 由于 IRRNN 的
输出是隐含状态的线性叠加, 因此可得 IRRNN 有唯一稳定平衡点, 且稳态输出与状态的初始值无关. 证毕.
李文艺(1980－), 男, 博士生, 主要研究领域为神 南静(1992－), 男, 博士生, 主要研究领域为神经
经网络, 复杂系统建模. 网络, 增量式学习.

代伟(1984－), 男, 博士, 教授, 博士生导师, 主要 刘从虎(1981－), 男, 博士, 教授, 主要研究领域
研究领域为复杂系统建模, 机器学习. 为再制造技术, 智能制造.