Page 161 - 《软件学报》2025年第9期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2025,36(9):4072−4092 [doi: 10.13328/j.cnki.jos.007257] [CSTR: 32375.14.jos.007257] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
增量构造式随机循环神经网络

李文艺 1,2,3 , 代 伟 1,2 , 南 静 1,2 , 刘从虎 3

1
(中国矿业大学 人工智能研究院, 江苏 徐州 221116)
2
(中国矿业大学 信息与控制工程学院, 江苏 徐州 221116)
3
(宿州学院 机械与电子工程学院, 安徽 宿州 234000)
通信作者: 代伟, Email: weidai@cumt.edu.cn

摘 要: 针对循环神经网络 (recurrent neural network, RNN) 的结构不易确定、参数学习过程复杂等问题, 提出一种
增量构造式随机循环神经网络 (incremental-construction for random RNN, IRRNN), 实现了 RNN 结构的增量构造与
参数的随机学习. 首先建立隐含节点增量构造的约束机制, 同时利用候选节点池策略实现隐含节点的优选, 避免了
网络随机构造的盲目性; 进一步, 从模型参数的局部优化与全局优化两个角度考虑, 提出模型参数的两种增量随机
(incremental random, IR) 学习方法, 即 IR-1 与 IR-2, 并证明了其万能逼近特性; 同时通过研究 IRRNN 的动态特性,
分析了 IRRNN 的泛化性能. 通过实验验证了 IRRNN 在动态特性、紧凑性和精度等多个方面具有良好特性.
关键词: 增量构造; 随机学习; 随机权神经网络; 循环神经网络; 稳定性
中图法分类号: TP18

中文引用格式: 李文艺, 代伟, 南静, 刘从虎. 增量构造式随机循环神经网络. 软件学报, 2025, 36(9): 4072–4092. http://www.jos.org.
cn/1000-9825/7257.htm
英文引用格式: Li WY, Dai W, Nan J, Liu CH. Incremental-construction for Random Recurrent Neural Network. Ruan Jian Xue
Bao/Journal of Software, 2025, 36(9): 4072–4092 (in Chinese). http://www.jos.org.cn/1000-9825/7257.htm

Incremental-construction for Random Recurrent Neural Network
1,2
1,2
LI Wen-Yi 1,2,3 , DAI Wei , NAN Jing , LIU Cong-Hu 3
1
(Artificial Intelligence Research Institute, China University of Mining and Technology, Xuzhou 221116, China)
2
(School of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China)
3
(School of Mechanical and Electronic Engineering, Suzhou University, Suzhou 234000, China)
Abstract: Due to the difficulty in determining the structure and training the parameters of recurrent neural network (RNN), an incremental-
construction for random RNN (IRRNN) is proposed to realize the incremental construction of RNN structures and the random learning of
network parameters. The IRRNN establishes an incremental constraint mechanism for hidden nodes and uses the candidate node pool
strategy to realize the optimal selection of hidden nodes, avoiding the blindness of random construction of the network. Two incremental
random learning methods, termed IR-1 and IR-2, are designed for local and global optimization of model parameters. Additionally, their
universal approximation property is proved. Meanwhile, the dynamic property of the IRRNN model is studied to analyze its generalization
performance. Experiments validated that the IRRNN exhibits favorable dynamic properties, compactness, and accuracy.
Key words: incremental construction; random learning; random weight neural network; recurrent neural network (RNN); stability

循环神经网络 (recurrent neural network, RNN) 具有短期记忆能力, 能够实现上下文瞬时依赖关系的学习, 因
此 RNN 成为深度学习领域重要的模型之一 [1,2] , 目前 RNN 模型在诸多领域有成功应用 [3−5] . 由于 RNN 的隐含节

* 基金项目: 国家自然科学基金 (61973306, 62373361); 江苏省优秀青年基金 (BK20200086); 安徽省教育厅重点项目 (2022AH051361,
2023AH052233)
收稿时间: 2023-10-06; 修改时间: 2024-01-11, 2024-05-30; 采用时间: 2024-07-25; jos 在线出版时间: 2024-12-25
CNKI 网络首发时间: 2024-12-26