Page 328 - 《软件学报》2024年第6期

2904 软件学报 2024 年第 35 卷第 6 期

is still competitive in terms of generalization performance and network size.
Key words: broad learning system; fuzzy inference system; feature augmentation; random vector functional-link neural network
(RVFLNN); Sigmoid function; interpretability

随机向量函数链神经网络 (random vector functional-link neural network, RVFLNN) 不仅是一种结构简单、训
练快速的通用函数逼近器 [1,2] , 而且还具有良好的泛化性能, 其潜在能力在近些年受到了领域内研究者的重视.
RVFLNN 在单层前馈神经网络 (SLFNs) 的一侧添加了直接链接, 这种线性模型的加入增强了网络的特征表示能
力. 对于模型的训练, RVFLNN 先随机生成增强节点的输入权重和偏置, 再用伪逆解析确定与输出层连接的权值
即可, 因此其训练速度较快. 文献 [3] 提出一种动态逐步更新算法, 使得 RVFLNN 在添加新的数据样本和增强节
点时, 无需重构整个网络即可快速更新输出权值.
为了提高 RVFLNN 的泛化性能, 一些研究者在深度学习思想的启发下, 设计出具有多个增强层的深度
RVFLNN. 这些深度 RVFLNN 在结构上主要有 3 类: 堆叠式深度 RVFLNN、集成深度 RVFLNN 和混合深度
[4]
RVFLNN . 其中, 堆叠式深度 RVFLNN [5,6] 利用多层叠加的增强层来实现多尺度的特征提取与组合, 其直接链接
可只在输入层与输出层之间, 例如卷积深度 RVFLNN(CRVFL) . 也可从隐藏层连接至输出层以更好地利用中间
[7]
FBLS
[8]
层的信息, 如 dRVFL . 集成深度 RVFLNN(edRVFL) 将集成学习与深度 RVFLNN 结合, 权衡了计算效率和特征
利用率 [8] . 然而, 上述深度 RVFLNN 也和其他深度学习模型一样面临着一些问题, 例如模型的学习和重构较为耗
时, 网络参数的调整过程较为繁琐等 [9] .
宽度学习系统 (broad learning system, BLS) 提供了一种不同于深度结构学习的思路 [9] . 它将映射特征作为
RVFLNN 的输入, 进而有效且高效表示输入特征. 在此基础上, BLS 能添加特征节点和增强节点, 在宽度上扩展模
型, 无需深层结构堆叠也可提升系统的泛化性能. BLS 也通过伪逆运算快速学习模型的参数, 而且利用分块矩阵的
伪逆运算实现了 3 种增量学习算法, 使得系统在添加输入样本、特征节点、增强节点后可快速重构网络.
当前, 人们不仅希望使用的神经网络具有良好的性能, 而且对其可解释性也有了较高的要求, 可解释性被定义
为系统以人类可理解的方式表达其行为的能力 [10] . 可解释性较高的系统既能让用户信任模型做出决策的有效性,
也使得用户容易分析模型预测出错的原因. 而模糊系统通常借助定义在模糊集上的 IF-THEN 规则来表达其推理
过程, 这种推理规则符合人类解决问题的判断过程, 易于被人们理解并接受, 因此, 良好的可解释性成为模糊系统
的一大特点. 模糊系统有多种类型, 其中最著名的有 Takigi-Sugeno-Kang (TSK) 型 [11] 和 Mamdani 型 [12] . 模糊系统
的高可解释性以及神经网络能自动获取知识的能力, 吸引着研究者们将模糊推理系统嵌入到神经网络, 进而提出
模糊神经网络, 模糊神经网络可从数据中学到推理规则, 同时具备了较高的泛化性能. 从自适应神经模糊系统
ANFIS [13] 提出至今, 模糊神经网络已发展出多种变体 [14−16] 并且得到了广泛的应用.
虽然 BLS 在泛化性能和计算速度上表现良好, 但它无法对自身所学知识和推理过程提供一种直观的解释 (可
解释性较弱). 因此, 一些研究者尝试将 BLS 和模糊系统进行融合, 设计出一类新的模糊神经网络, 即具有模糊推
理能力的 BLS. 模糊宽度学习系统 (fuzzy broad learning system, FBLS) [17] 正是其中之一, FBLS 将 BLS 的特征节点
替换为不同的 TSK 模糊子系统, 让 BLS 具有了模糊推理能力. 与传统模糊神经网络相比, FBLS 有着更少的训练
时间和模糊规则数, 在一定程度上缓解规则爆炸问题. 之后, 文献 [18] 在 FBLS 结构的基础上, 提出了一种权衡准
确率和复杂度的模糊神经网络 (CFBLS). 虽然 和 CFBLS 在准确性和可解释性上都有着良好的表现, 但它们
无法自主确定在不同数据集上使用的模糊规则数. 对此, 文献 [19] 提出了基于 BLS 的动态模糊推理系统 (BL-
DFIS), 它是一个以 BLS 为框架的 TSK 模糊系统. BL-DFIS 用 ELM-AE [20] 提取的映射来生成特征节点, 同时将可
解释的语言模糊规则嵌入增强节点. 借助其设计的扩展增强单元 EEU, BL-DFIS 实现了可解释的一阶 TSK 模糊系
统. 此外, BL-DFIS 也具有 BLS 快速计算和重构网络的特性, 其提出的带有内部剪枝和更新机制的动态增量学习
算法, 使系统能自动组装最优结构, 以获得紧凑的规则库并达到良好的分类性能 [19] .
本文提出特征扩展的随机向量函数链神经网络 (FA-RVFLNN) 有如下动机.
(1) 由文献 [10] 可知: 多层模糊系统的可解释性与中间数据的语义以及模糊规则的数量相关. 虽然 BL-DFIS
具有优秀的性能表现, 但其对应模糊系统的输出是关于特征节点的多项式, 这表明 BL-DFIS 并未直接根据输入数