Page 177 - 《软件学报》2025年第9期

4088 软件学报 2025 年第 36 卷第 9 期

第 3.2 节与第 3.3 节对算法 IR-1 与 IR-2 进行了验证. 算法 IR-1 采用了局部优化的思想, 当新增一个隐含节点
时仅需计算新增节点的输出权重, 而其余节点的权重保持不变, 因此对于单个新增隐含节点, IR-1 的计算量小, 但
是算法 IR-1 使 IRRNN 收敛慢, 最终 IRRNN 的误差较大. 算法 IR-2 采用了全局优化的思想, 当新增一个隐含节点
时需要更新所有隐含节点的输出权重, 因此当新增一个节点时, 算法 IR-2 的计算量偏大, 但是 IR-2 使 IRRNN 收
敛快, 最终网络的误差小. 在实际应用中, 当需要快速建模但是对模型的精度要求不高时, 可以选用算法 IR-1; 当需
要建立精确模型时, 可采用算法 IR-2. 从本文的实验结果来看, 与其他方法相比算法 IR-1 得到的结果没有优势, 但
是从理论上分析算法 IR-1 是收敛的, 并且算法 IR-1 是算法 IR-2 收敛性分析的基础, 因此在本文中对算法 IR-1 进
行了实验对比.
算例 1 与算例 2 的仿真结果与工业应用实验结果显示算法 IR-2 有良好的泛化性能. GESN, PDSM-ESN 及本
文所提出的 IRRNN 都实现了循环神经网络参数与结构的学习, 但上述网络存在明显区别. 首先, IRRNN 与 GESN
都采用了增量构造方法, 但是 GESN 采用完全随机的参数, 未对随机参数优选, 而 IRRNN 采用了约束机制与候选
节点池策略对随机参数进行优选, 使得 IRRNN 参数更少, 结构更紧凑. PDSM-ESN 与 IRRNN 都进行了网络的结
构优化, 但是 PDSM-ESN 内部结构不清晰, 各个隐含节点的耦合关系存在随机性, 而 IRRNN 的数量更少, 内部结
构更清晰.
理论分析与仿真实验表明 IRRNN 具有以下特点: (1) IRRNN 未采用误差反传方法进行学习, 网络的学习速度
较快, 有较好的精度; (2) 在 IRRNN 的增量学习过程中能够确保网络有全局唯一稳定平衡点, 避免初始状态对稳态
输出的影响, 使其具有较好的泛化能力; (3) IRRNN 把一个复杂系统表示为多个简单非线性系统的叠加, 网络参数
更少, 结构更加紧凑, 内部结构清晰.

4 结 论

本文提出的 IRRNN 实现了循环神经网络结构的增量构造与参数的随机学习. 在 IRRNN 的学习过程中建立
了随机学习的约束机制, 实现了对随机节点的初步筛选, 再用候选节点池策略实现对隐含节点的优选. 从局部优化
与全局优化角度考虑, 分别给出了 IRRNN 的两种学习算法, 即算法 IR-1 与算法 IR-2. 在理论方面, 证明了 IRRNN
对动态系统有万能逼近能力, 分析了 IRRNN 的稳定性、平衡点数量对输出的影响, 给出了其稳定性判别方法. 系
统逼近仿真实验与工业软测量实验表明 IRRNN 的结构紧凑、精度较高. 本文所提出的 IRRNN 还存在以下待解
决的问题. (1) 算法 IR-2 中权重矩阵的计算利用了广义逆矩阵, 当训练样本数据量较大、隐含节点较多时计算广
义逆矩阵时间开销大, 网络的学习速度变慢, 因此如何应对大规模样本需进一步深入研究. (2) IRRNN 是一种短期
记忆网络, 如何设计具有长时间记忆的 IRRNN 也需要进一步研究. (3) 实验表明本文所提出的方法与回声状态类
的网络在不同的对象上表现出不同的效果, 我们将继续研究在数据受干扰、数据不完整等情况下的建模方法.

References:
[1] Zhang ZJ, Ren XH, Xie JL, Luo YM. A novel swarm exploring varying parameter recurrent neural network for solving non-convex
nonlinear programming. IEEE Trans. on Neural Networks and Learning Systems, 2023, 35(9): 12642–12652. [doi: 10.1109/TNNLS.2023.
3263975]
[2] Liu Y, Yang PF, Zhang LJ, Wu ZL, Feng Y. Survey on robustness verification of feed forward neural networks and recurrent neural
networks. Ruan Jian Xue Bao/Journal of Software, 2023, 34(7): 3134–3166 (in Chinese with English abstract). http://www.jos.org.cn/
1000-9825/6863.htm [doi: 10.13328/j.cnki.jos.006863]
[3] Hou HS, Luo C, Zhang H, Wu GC. Frequency domain approach to the critical step size of discrete-time recurrent neural networks.
Nonlinear Dynamics, 2023, 111(9): 8467–8476. [doi: 10.1007/s11071-023-08278-0]
[4] Chen JX, Hao W, Zhang PW, Min CD, Li YC. Emotion classification of spatiotemporal EEG features using hybrid neural networks. Ruan
Jian Xue Bao/Journal of Software, 2021, 32(12): 3869–3883 (in Chinese with English abstract). http://www.jos.org.cn/1000-9825/6123.
htm [doi: 10.13328/j.cnki.jos.006123]
[5] Wang YB, Wu HX, Zhang JJ, Gao ZF, Wang JM, Yu PS, Long MS. PredRNN: A recurrent neural network for spatiotemporal predictive
learning. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2023, 45(2): 2208–2225. [doi: 10.1109/TPAMI.2022.3165153]