Page 337 - 《软件学报》2024年第6期

龙茂森 等: 特征扩展的随机向量函数链神经网络 2913

以下给出实验过程中不同模型的具体参数设置 (注: 所有模型的随机权值和偏置都由 [–1, 1] 上的均匀分布生成).
对于 BL-DFIS, 实验使用与文献 [19] 相似的策略确定模型的超参数.
1) 根据数据集的不同, 可采用几种常见的等维预处理方式, 例如标准化 (scale; minmax scale; maxabs scale;
robust scale), 正则化 (normalize).
2) 对于 ELM-AE, 将 Sigmoid 作为其隐藏层的激活函数, 并用网格搜索确定特征节点数 M, 正则化参数 C 1 , 其
4
−5
中, 特征节点数 M 等于输入数据维度的 h 倍, 即 M = hm, h∈{0.25, 0.5, 0.75, 1,…, 3.75, 4}, C 1 ∈{10 , 10 ,…, 10 , 10 }.
5
−4
3) 对于模糊层, 设模糊集个数 K=5, 扩展增强单元 (模糊规则) 的最大数量 L max =30. 公式 (18) 中高斯隶属函数
的标准差生成区间 σ Range ∈{[0.1, 0.6],…, [0.1+0.5i, 0.1+0.5(i+1)],…, [4.6, 5.1] | i=0, 1,…, 9}, 标准差由该区间上的
均匀分布随机生成.
对于 FA-RVFLNN, 我们将上述策略确定的 BL-DFIS 的最优超参数作为其补充结构的超参数, 它的增强层采
用 Sigmoid 激活函数. 以下将分步骤确定 FA-RVFLNN 的其他参数.
1) 首先, 假设增强节点数 S 与特征节点数 M 相同, 即 S = M, 并将模糊规则数 L 设为 1. 再搜索公式 (13) 的参
5
q
q
5
数 λ, 其中 λ∈{1, 5,…, 10 , 5×10 ,…, 10 , 5×10 | q = 0,…, 5}.
2) 接下来, 将上文的三阶段增量学习算法 (忽略阈值的设定) 作为训练算法, 用网格搜索找到合适的增强节点
数 S 和模糊规则数 L: S∈{1, 3, 5,…, Max(10, L p *(1+M p ))}, L∈{1, 2,…, 5}, 其中 M p 、L p 分别是 BL-DFIS 在第 p 个
数据集上使用的特征节点数、模糊规则数. 这一步的目标是试图找到适当大小的增强节点数 S, 使得 FA-RVFLNN
能用较少的模糊规则数达到令人满意的分类性能.
3) 有了超参数 S 和 λ, FA-RVFLNN 的网络结构已初步确定. 最后用文献 [19] 提出的动态增量学习算法训练
FA-RVFLNN, 以确定它使用的模糊规则数 L.
确定参数 λ 之后, 我们将 FA-RVFLNN 的主体结构剥离后得到 RVFLNN, 用变步长方式搜索 RVFLNN 在各
10
50
5
10
数据集上使用的增强节点数 S∈{ 5 −→ 100 −→ 600 −→ 1100 }, 其中 100 −→ 600 表示从 100 开始以步长为 10 生成到
600 的一系列数. 而 RVFLNN(C) 在各实验数据集上采用与 BL-DFIS 相同的预处理方式, 并且通过网格搜索确定
5 10 50 -5 -4 4 5
公式 (1) 与公式 (3) 中的参数 S∈{ 5 −→ 100 −→ 600 −→ 1100 }和 C∈{10 , 10 ,…, 10 , 10 }.
3.2 实验结果
的增强节点数. 图
6 展示了
根据实验方案, 首先需确定 FA-RVFLNN #Rules
FA-RVFLNN (曲面)、RVFLNN、BL-DFIS
这 3 个模型在 Adult 和 Pageblocks 数据集上的测试准确率 (Accuracy), 随着增强节点数 (S) 或模糊规则数 (#Rules)
的变化, 曲面是网格搜索的部分结果, 由三阶段增量学习算法进行 30 次 10 折交叉验证获得.

FA-RVFLNN (S=11) FA-RVFLNN (S=33)
RVFLNN RVFLNN
BL-DFIS BL-DFIS
0.840 0.965
0.960
0.835 0.955
Accuracy 0.830 Accuracy 0.950
0.945
0.825
0.820 0.940
0.935
0.815 0.930
30 40
25 10 35 30
20 8 25 10 12
15 6 20 8
S 10 4 S 15 10 6
5 2 5 2 4 #Rules
0 0
(a) Adult (b) Pageblocks
图 6 FA-RVFLNN、RVFLNN、BL-DFIS 的测试准确率随 S 或#Rules 的变化

对于 Adult, S 的搜索区间为 [1:3:31], 其中, S 的间隔被设置为 1–31, 步长为 3. #Rules 为 [1:1:10]; Pageblocks
的 S 和#Rules 的区间分别为 [1:3:40]、[1:1:13]. 可以发现, 当 S=1 (接近于 0) 时, FA-RVFLNN 的测试准确率要略