Page 197 - 《软件学报》2020年第11期

周塔 等:基于训练空间重构的多模块 TSK 模糊系统 3513

d
il ∏
w = v jl ()x ij (20)
j= 1
(1.6) 构造规则层输出矩阵 H nl :
⎡ η 111 +Δ η w K +Δ ⎤
w
⎢ 1 1 nl ⎥
H nl = ⎢ ⎥ (21)
⎢ η w +Δ η w +Δ ⎥
⎣ N N 1 N NK nl ⎦ NK nl
×
这里,η …,η 表示规则前件系数, Δ 为增量,这些系数均可人为设定或者利用其他方法获得.
N
1
(1.7) 计算第 nl 个组件单元输出权重β nl :
β = T ⎛ nl ⎜ 1 I + H H H nl ⎟ T ⎞ − 1 T (22)
nl nl
⎝ C ⎠
其中,C 是正则化参数,I 是一个单位矩阵.
(1.8) 计算整个输出矩阵 Y nl :
Y nl =H nl β nl (23)
接下来对算法 1 给出分析.
• 分析 1
根据 ELM,这里,我们计算第 nl 个训练模块的输出权重β nl :

β nl = T ⎛ nl ⎜ 1 I + H H H nl ⎟ T ⎞ − 1 T (24)
nl
⎝ C ⎠
而不是使用它的替代等价解:
⎛ 1 ⎞ − 1
T
nl = β ⎜ I + H H nl ⎟ H T (25)
nl
nl
⎝ C ⎠
3
显然,公式(25)中计算矩阵的复杂度是 (OK 3 ) ;然而在公式(24)中,计算矩阵的复杂度是 O(N ).
请注意,K 通常比实际应用中 N 的值小得多.由于本研究主要针对中小规模数据集,因此,选取公式(24)是合
理的.而算法 1 中的公式(25)更适用于大数据集分类任务.
• 分析 2
参数 C 是一个可以在算法 1 中调整的重要参数.这里,C 的值可以选择比较大的常数.在本研究中,C 可以在
集合{400,…,1000}中通过网格搜索确定.
根据算法 1,下面很容易地给出 H-TSK-FS 整个学习算法,即算法 2.
算法 2. H-TSK-FS 学习算法.
T
T
输入训练集 X=[x 1 ,x 2 ,...,x N ] ,对应的类标签集 T=[t 1 ,t 2 ,...,t N ] ,其中,x n ∈R.对于二分类,t n ∈{+1,−1};否则,对于
多分类,则有 t n ∈{1,2,...,c},其中,n=1,2,...,N 和 c(>2)是类的数量.在 H-TSK-FS 中,训练的深度设定为 NL.
(2.1) 输入:原训练样本集 X 和类标签集 T.
(2.2) For nl=2 to NL do
(2.2.1) 根据特征选取机制 RSFM,得到训练数据[X (nl−1) ,T]训练第 nl 个基本单元.
(2.2.2) 得到第 nl−1 个训练模块的输出 Y nl−1 ,产生增强的输入空间,即[X (nl−1) ,Y nl−1 ,T].
nl− 1
其中, X ()nl = XX (nl− 1) ∑ α Y ,α i 是很小的常数,Y 为已训练模块决策信息的最大值.

i
ii
i= 1
(2.2.3) nl=nl+1.
end for
(2.3) 输出:各训练模块的模糊规则和每个训练模块的参数.
接下来对算法 2 给出分析.
• 分析 1:一方面,根据栈式原理,分类性能一般可随着深度 NL 的增加而提高;另一方面,也应该注意到,