Page 265 - 《软件学报》2025年第10期

4662 软件学报 2025 年第 36 卷第 10 期

的 DSCN 网络结构如图 1 所示, 网络由输入层、多个隐含层和输出层构成.
d
假定训练数据为: X = {(x 1 ,t 1 ),...,(x N ,t N )}, 其中, x i = [x i1 , x i2 ,..., x id ] ∈ R 表示输入数据; T = {t 1 ,t 2 ,...,t N } t i = [t i1 ,
,
t i2 ,...,t im ] ∈ R 表示相应的输出数据; i = 1,2,...,N 表示样本数序号. 具体算法过程可以描述如下.
m
令 Γ := {g 1 ,g 2 ,g 3 ,...} 表示一组实值函数, span(Γ) 表示由 Γ 张成的函数空间. L 2 (K) 表示所有勒贝格可测函数
f = [f 1 , f 2 ,..., f m ] : R → R m 的空间.
d
在第 n 层的第 L n 个节点加入网络前, 网络的输出表示为:

p
n ∑∑
( )
(k)
(n)
f (x) = β g k,j x (k−1) ;w (k−1) ,b (k−1) (1)
p j j j
k=1 j=1
网络的残差表示为:

[ ] T
e (n) = f − f (n) = e (n) (X) = e (n) (X),...,e (n) (X) (2)
L n −1 p L n −1 L n −1,1 L n −1,m
(n)
令 ϵ 为设定的容差, 网络在构造的初期并不满足精度需求, 即 e > ϵ. 随机配置网络能够在每次新增节点时快
L n
速选择随机参数 w k,j 和 b k,j , 使得网络残差逐渐满足设定的容差, 接下来将描述这种随机参数的配置方法.

(0) (0)
w j , b j (1) (1)
w j , b j (k)
β j
x 1
x n
输入层 隐含层 1 隐含层 2 输出层
图 1 深度随机配置网络结构

+
,
假设 span(Γ) 在 L 2 空间中是稠密的, ∀g ∈ Γ b g ∈ R , 有 0 <∥ g ∥< b g 成立. 给定 0 < r < 1, 非负并满足 lim µ l = 0
L→+∞
)

(n)
2

2 (n)
(
(n)
(n)
2
及 µ l ⩽ (1−r) 的序列 {µ l }, 令 δ = 1−r −µ j
e
,q = 1,2,...,m. 若满足不等式约束 ⟨e ,g n,j ⟩ ⩾ b δ ,q = 1,2,...,m,
j,q j−1,q j,q g j,q

(n)
则有 lim
f − f
= 0 成立, 即满足网络的全局逼近能.
p
L→+∞
当第 L n 个节点加入第 n 个隐含层后, 则第 n 个隐含层的输出为:

[ ( ) ( )] T
(n) (n) (n−1) (n−1)
h := h (X) = g n,L n x ,...,g n,L n x (3)
L n L n 1 N
令

⟨ (n) (n) ⟩ 2
g L n −1,q ,h L n ⟨ ⟩
ξ (n) = ⟨ ⟩ l 2 −(1−r) g (n) ,g (n) (4)
L n ,q (n) (n) L n −1,q L n −1,q
g ,h l 2
L n L n
l 2
我们选取令公式 (4) 最大的一组隐含层参数, 这也就是 DSCN 配置隐含层参数的方法和理论.
将所有隐层的输出矩阵表示为:

[ ]
(n)
(n)
H (n) = h ,h ,...,h (n) (5)
L n 1 2 L n
则 DSCN 的输出权值方法计算如下:

2

n ∑ L k ∑

∗
(k)
β = argmin
f − β g k,j
(6)

j
β
k=1 j=1
常用穆尔-彭罗斯广义逆解决公式 (6) 的最小二乘问题, 即 β = H T .
†
综上所述, DSCN 的构造过程可以表述如下: 网络从只有单个节点开始逐步增加隐含层节点, 当前隐含层节点