Page 163 - 《软件学报》2025年第9期

4074 软件学报 2025 年第 36 卷第 9 期

具有随机性, 模型结构不够紧凑.
本文以 DRNN 的拓扑结构为基础 [12] , 借鉴了神经网络增量式随机学习思想 [23] , 提出一种增量构造式随机循
环神经网络 (incremental-construction for random recurrent neural network, IRRNN), 其实现了 RNN 结构的增量构造
与参数的随机学习.
本文的主要贡献如下: (1) 在 IRRNN 的构造过程建立了随机学习的约束机制, 确保了学习过程的收敛性与
IRRNN 的稳定性, 并采用候选节点池策略对隐含节点进行优选, 使随机学习得到的隐含节点更有效率, 避免产生
低质隐含节点. (2) 从局部优化与全局优化两个角度考虑, 提出了 IRRNN 的两种增量式随机 (incremental random,
IR) 学习算法: 即算法 IR-1 与算法 IR-2. (3) 分析了 IRRNN 的逼近能力与动态特性, 证明了 IRRNN 存在唯一稳定
平衡点的条件, 避免了初始状态对泛化性能的影响. (4) 通过多个动态系统仿真实验与工业软测量实验对 IRRNN
进行了验证, 实验结果表明 IRRNN 具有紧凑结构和良好精度.

1 相关理论基础

1.1 对角循环神经网络
DRNN 是一种单隐含层 RNN [12] , 在 DRNN 中仅保留了 RNN 的隐含节点到自身的反馈连接权重, 删除了隐含
节点之间的互连权重. 因此, DRNN 简化了 RNN 的结构, 减少了其参数量, 使网络更加轻量化. 虽然 DRNN 的结构
简单, 但是在应用中其仍具有良好效果 [35,36] . DRNN 可表示为:


in
 S (t) = f(Wx(t)+W S (t −1)+ B)


 (1)



 y DRNN (t) = VS (t)
p
q
t
t
其中, f 表示隐含节点的激活函数, 表示时间 ( t = 1,2,...,N). x(t) ∈ R , y DRNN (t) ∈ R 分别表示 时刻的输入与输出.
T n T n t −1 时刻
t
,
S (t) = [s 1 (t), s 2 (t),..., s n (t)] ∈ R S (t −1) = [s 1 (t −1), s 2 (t −1),..., s n (t −1)] ∈ R 分别表示隐含层在 时刻与
(
t
的输出状态向量, 其中 s i (t), s i (t −1) ∈ R i = 1,2,...,n) 分别表示第 i 个隐含节点在 时刻与 t −1 时刻的输出状
态 . W = [w 1 ,w 2 ,...,w n ] ∈ R n×p 、 W = diag(w ,w ,...,w ) ∈ R n×n 、 V = [v 1 ,v 2 ,...,v n ] ∈ R q×n 、 B = [b 1 ,b 2 ,...,b n ] ∈ R n
in
in
in
in
T
T
1 2 n
分别表示输入层权重矩阵、隐含层反馈权重矩阵、输出层权重矩阵、隐含层偏置量. 公式 (1) 中的输出可表示为
n ∑
y DRNN (t) = v i s i (t).

i=1
1.2 前馈神经网络增量式随机学习
RVFLN 是 Pao 等人 [20] 提出的一种典型的前馈神经网络随机学习模型, 其由输入层、随机隐含层 (隐含层节
点称为增强节点) 和输出层组成, 且在输入与输出之间存在直链. RVFLN 的训练过程包括: 在固定参数范围内随机
生成增强节点的输入权重和偏置量, 并在此后的训练中保持不变, 通过 Moore-Penrose 伪逆求解输出权重矩阵 (包
括直链权重). 由于上述学习过程未涉及迭代优化, 因此 RVFLN 的学习速度快. 传统 RVFLN 中增强节点的输入权
重和偏置量完全随机, 导致部分随机节点质量较低, 且模型结构需要通过实验确定. 为解决 RVFLN 模型结构构建
问题, 文献 [37] 对 RVFLN 扩展和改进, 提出了增量式的随机向量函数链接网络 (incremental RVFLN, IRVFLN),
其在 RVFLN 的基础上添加了动态增量学习机制, 采用构造方法使得网络能够逐步学习到合适的结构. 但由于
IRVFLN 中的隐含节点是在一个固定的区间内完全随机产生的, 当区间设置不恰当时网络性能难以提升, 且参数
无约束地随机生成, 难以避免产生低质、冗余节点.
针对 IRVFLN 中随机学习中存在的问题, Wang 等人 [23] 在 2017 年提出了具有约束条件的增量式随机学习模
型, 即 SCN. SCN 的基本思想是: 在一定约束条件下随机生成一些节点, 从中选择出使模型残差下降最大的节点添
加至网络中, 再利用解析方法配置输出权重. SCN 的学习过程可简洁地表示为: y L (x) = y L−1 (x) + v L f L (x), 其中, y L−1
为增量前网络 (含有 L−1 个隐含节点) 输出, y L 为增量后网络 (含有 L 个隐含节点), f L 为第 L 个新增随机隐含节点
输出, v L 为新增节点 f L 的输出权重, x 为输入量. 由于 SCN 对随机参数施加一定的约束, 使得 SCN 的隐含节点更
加高效, 且随机范围能够随训练过程自主调整, 从而确保了 SCN 有万能逼近特性.