Page 331 - 《软件学报》2024年第6期

龙茂森 等: 特征扩展的随机向量函数链神经网络 2907

n
x = [x 1 , x 2 ,..., x m ] ∈ R m i y = [y ,...,y ] ∈ R 是第 k 条
k
k
k
其中, 为系统输入, A 是变量 x i (i = 1,2,...,m) 对应的模糊集.
k 1 n
规则的输出. 对于一个人工神经网络 ANN (如图 3), 假设其输入层、隐藏层、输出层的神经元个数分别为 m, h, n,
隐藏层的激活函数为 Sigmoid. 那么可将隐藏节点与输出节点组成的数值对 (z k , y j ) 表示为模糊规则 [27] :
∑ m
R k j : if (x i w ik +τ k ) is A then y k j = β k j (9)
i=1
(∑ m )
其中, 模糊集 A 对应的隶属函数为 Sigmoid, 上述规则的启动强度 v k j = A x i w ik +τ k , 那么系统的输出为:
i=1
∑ h ∑ h (∑ m )
y j = v k j y k j = A x i w ik +τ k ·β k j (10)
k=1 k=1 i=1
为了将公式 (9) 的规则前件分解成公式 (8) 的形式, 文献 [27] 定义了一种模糊逻辑算子:
a 1 ·a 2 ·...·a m
a 1 ∗a 2 ∗...∗a m = (11)
(1−a 1 )·(1−a 2 )·...·(1−a m )+a 1 ·a 2 ·...·a m
其中, *又称 I-OR 算子, 借助该算子, 公式 (9) 可写为:
1 2 m
R k j : if (x 1 is A )∗(x 2 is A )∗...∗(x m is A ) then y k j = β k j (12)
k j
k j
k j
A i x i (i = 1,2,...,m) 对应的模糊集. 由公式 (9)–公式 (12) 可知, 每个隐藏节点对应着 1 条模糊规则,
其中, k j 是输入变量
y k j = β k j (j = 1,2,...,n) 是隐藏节点 z k 与输出节点 y j 的连接权值, 规则输出与启动强度 (隐藏节点的输出)
规则的输出
进行加权求和后即可得到系统输出. 至此, 具有 Sigmoid 激活函数的 ANN 与 FRBS 之间的功能等价性已被建立.

x 1 z 1 y 1
· · ·
· · ·
· · ·
x i z k y j
· · ·
· · ·
· · ·
ω β
x m z h y n
输入层 隐藏层 输出层
图 3 人工神经网络
E S = φ
2 特征扩展的随机向量函数链神经网络 (FA-RVFLNN) 及其学习方法
本节对 FA-RVFLNN 及其学习方法做详细说明, 最后给出 FA-RVFLNN 的三阶段增量学习算法.
2.1 FA-RVFLNN 的总体结构
FA-RVFLNN 的网络结构如图 4 所示, 在该结构中, RVFLNN 连接至输入层, 用于处理原始数据, 而 BL-DFIS
则在预处理后的样本空间上做进一步的特征提取, 以下将说明 FA-RVFLNN 的参数计算过程.
首先, 计算 FA-RVFLNN 中增强层的输出. 设给定输入数据样本为 X = [x 1 , x 2 ,..., x N ] ∈ R N×m , 其中 x j = [x j,1 , x j,2 ,
T
m
..., x j,m ] ∈ R , j = 1,2,...,N , N 和 m 分别为输入数据的样本数和属性数. 设 FA-RVFLNN 的增强节点数为 S, 增强
层输出 E S = [e 1 ,e 2 ,...,e S ] ∈ R N×S 可由下式计算:
XB
( )
+d (13)
λ
其中, φ(·) 是激活函数 Sigmoid, B ∈ R m×S , d ∈ R 1×S 是在输入层与增强层之间随机生成的权值和偏置. 对于不同的
数据集, 原始数据 X 的数值范围具有不确定性, 参数 λ 可调节该数值范围进而避免激活函数 φ(·) 过饱和.
p
p
然后, 计算特征层的输出. 先对输入数据 X 做简单的等维度预处理 X pre = [x , x ,
(例如标准化、正则化等) 得到
1 2
p
p
p
p
p T
..., x ] ∈ R N×m , 其中 x = [x , x ,..., x ], j = 1,2,...,N . 再使用极限学习机自编码器 (ELM-AE) [19,20] 获得特征映
N j j,1 j,2 j,m
射. 设 ELM-AE 的隐藏层节点数 (特征节点数) 为 M, 那么它的输出 G = [G 1 ,G 2 ,...,G M ] ∈ R N×M 为:
T
T
G = g(X pre A+b) , A A = I, b b = 1 (14)
其中, g(·) 是 ELM-AE 中隐藏节点的激活函数. A ∈ R m×M , b ∈ R 1×M 是隐藏层中随机生成的正交化输入权值与偏