Page 179 - 《软件学报》2025年第9期

4090 软件学报 2025 年第 36 卷第 9 期

[31] Han M, Ren WJ, Xu ML. An improved echo state network via L 1 -norm regularization. Acta Automatica Sinica, 2014, 40(11): 2428–2435
(in Chinese with English abstract). [doi: 10.3724/SP.J.1004.2014.02428]
[32] Wang L, Qiao JF, Yang CL, Zhu XX. Pruning algorithm for modular echo state network based on sensitivity analysis. Acta Automatica
Sinica, 2019, 45(6): 1136–1145 (in Chinese with English abstract). [doi: 10.16383/j.aas.c180288]
[33] Qiao JF, Li FJ, Han HG, Li WJ. Growing echo-state network with multiple subreservoirs. IEEE Trans. on Neural Networks and Learning
Systems, 2017, 28(2): 391–404. [doi: 10.1109/TNNLS.2016.2514275]
[34] Wang L, Su Z, Qiao JF, Deng F. A pseudo-inverse decomposition-based self-organizing modular echo state network for time series
prediction. Applied Soft Computing, 2022, 116: 108317. [doi: 10.1016/j.asoc.2021.108317]
[35] Kumar R, Srivastava S, Gupta JRP. Diagonal recurrent neural network based adaptive control of nonlinear dynamical systems using
Lyapunov stability criterion. ISA Trans., 2017, 67: 407–427. [doi: 10.1016/j.isatra.2017.01.022]
[36] Peng XW, Gao HL. Improved diagonal recursion neural network and PI control of permanent magnet synchronous motor. Electric
Machines and Control, 2019, 23(4): 126–132 (in Chinese with English abstract). [doi: 10.15938/j.emc.2019.04.016]
[37] Li M, Wang DH. Insights into randomized algorithms for neural networks: Practical issues and common pitfalls. Information Sciences,
2017, 382–383: 170–178. [doi: 10.1016/j.ins.2016.12.007]
[38] Zhao HQ, Zhang JS. Nonlinear dynamic system identification using pipelined functional link artificial recurrent neural network.
Neurocomputing, 2009, 72(13–15): 3046–3054. [doi: 10.1016/j.neucom.2009.04.001]
[39] Kumar R, Srivastava S. A novel dynamic recurrent functional link neural network-based identification of nonlinear systems using
Lyapunov stability analysis. Neural Computing and Applications, 2021, 33(13): 7875–7892. [doi: 10.1007/s00521-020-05526-x]

附中文参考文献:
[2] 刘颖, 杨鹏飞, 张立军, 吴志林, 冯元. 前馈神经网络和循环神经网络的鲁棒性验证综述. 软件学报, 2023, 34(7): 3134–3166. http://
www.jos.org.cn/1000-9825/6863.htm [doi: 10.13328/j.cnki.jos.006863]
[4] 陈景霞, 郝为, 张鹏伟, 闵重丹, 李玥辰. 基于混合神经网络的脑电时空特征情感分类. 软件学报, 2021, 32(12): 3869–3883. http://
www.jos.org.cn/1000-9825/6123.htm [doi: 10.13328/j.cnki.jos.006123]
[11] 刘建伟, 宋志妍. 循环神经网络研究综述. 控制与决策, 2022, 37(11): 2753–2768. [doi: 10.13195/j.kzyjc.2021.1241]
[25] 代伟, 李德鹏, 杨春雨, 马小平. 一种随机配置网络的模型与数据混合并行学习方法. 自动化学报, 2021, 47(10): 2427–2437. [doi:
10.16383/j.aas.c190411]
[26] 张成龙, 丁世飞, 郭丽丽, 张健. 随机配置网络研究进展. 软件学报, 2024, 35(5): 2379–2399. http://www.jos.org.cn/1000-9825/6804.
htm [doi: 10.13328/j.cnki.jos.006804]
[31] 韩敏, 任伟杰, 许美玲. 一种基于 L 1 范数正则化的回声状态网络. 自动化学报, 2014, 40(11): 2428–2435. [doi: 10.3724/SP.J.1004.
2014.02428]
[32] 王磊, 乔俊飞, 杨翠丽, 朱心新. 基于灵敏度分析的模块化回声状态网络修剪算法. 自动化学报, 2019, 45(6): 1136–1145. [doi: 10.16383/
j.aas.c180288]
[36] 彭熙伟, 高瀚林. 永磁同步电机的改进对角递归神经网络 PI 控制策略. 电机与控制学报, 2019, 23(4): 126–132. [doi: 10.15938/
j.emc.2019.04.016]

附录 A

定理 3. 每个隐含节点必定有平衡点, 平衡点个数可能是 1 个、2 个或者 3 个.
in in in
.
证明: 激活函数 s(t) = f(w s(t −1)+b) w = 0 时是静态系统, 因此仅考虑 w , 0. 令 l 1 表示函数 s(t) = s(t −1)
in in s(t) = f(w s(t −1)+b) 对应的曲线
in
的几何图形. 当 w > 0 与 w < 0 时, 分别用 l 2 与 l 3 表示激活函数 ( s(t −1) ∈
(−1,1)), 如图 A1 所示. 当隐含节点处于平衡状态点时, 其输入输出相等, 由图 A1 可知平衡点为 l 1 与 l 2 两条线的
in
in
(或 l 1 与 ) 交点. w < 0 时根据函数单调性易知 l 1 与 l 3 仅有一个交点. w > 0 时易知 l 1 与 l 2 可能有 1 个、2 个或
l 3
者 3 个交点. 证毕.
定理 4. 如果 f(f(s)) = s 的解不是隐含节点平衡点, 则必定是隐含节点的震荡点.
证明: 假设 a 是方程 f(f(s)) = s 的解, 即 f(f(a)) = a. 若 f(a) = a, 则:

f(f(a)) = f(a) = a (A1)