Page 142 - 《软件学报》2021年第5期

1366 Journal of Software 软件学报 Vol.32, No.5, May 2021

所以,
∂ λ a→ i =− xy j (1 tanhλ+ b→ j ) ⎛ ⎜ ∏ x k ⎞
j
∂ λ b→ j 2 (x + j y j ) (1 tanh λ 2 − 2 a→ i ) kV a∈ ()\ , i j ⎝ x + k y k ⎠ ⎟
y j (1 tanhλ + b→ j )(1 tanhλ + a→ i )
=−
−
2
(x + j y j )(1 tanh λ a→ i )
+
y 1tanhλ
=− j b→ j ,
−
x + j y j 1tanhλ a→ i
因此,
∂ λ a→ i =− y j 1tanhλ+ b→ j
∂ λ b→ j x + j y j 1tanhλ − a→ i
+
y 1tanhλ
= j b→ j
−
x + y 1tanhλ
j j a→ i
+
y 1tanhλ b→
≤ j j (0 < xy < 1)
,
j
j
x + y ⎛ x ⎞
1− j j ⎜ 2 j − ⎜ 1⎟ ⎟
⎝ x + y j ⎠
j
+
y 1tanhλ
= j b→ j
x + y j 2 y j
j
x + y
j j
1
= (1 tanhλ b→ j ) 1.
+
<
2
关于情形 1 和情形 2,公式(21)和公式(25)表明:对于∀λ b→j ∈(−∞,+∞),都有:
∂ λ
a→ i < 1,
∂ λ b→ j
∂ λ
所以, sup λ∈ V ∂ λ a→ i j < 1.
b→
注意:λ a→i 和λ b→j 是λ 的分量.
∂ λ
利用函数 f 的雅可比矩阵构造矩阵范数 A,也即 A 中的元素为τ a→ , i b→ j = sup λ∈ V ∂ λ a→ i j .我们给出如下结论.
b→
定理 1. 对于 A 1 -范数,如果 max b→ j a→ i τ a→ , i b→ ∑ j < 1 成立,那么 BP 算法在 A 1 -范数下能够有效收敛到固定点,
且与初始信息无关.
证明:根据公式(6)、公式(7)和公式(9),有:
|| A = || || f λ ′ ( ) || = max j ∑ ∂ λ a→ i ≤ max j ∑ τ .
1 1 b→ a→ i ∂ λ b→ j b→ a→ i a→ , i b→ j
由压缩映射原理和引理 1 可知:如果 max b→ j a→ i τ a→ , i b→ ∑ j < 1 成立,则 BP 算法在 A 1 -范数下收敛,且与初始信
息无关. □
同理可得以下定理.
定理 2. 对于 A ∞ -范数,如果 max a→ i b→ j τ a→ , i b→ ∑ j < 1 成立,则 BP 算法在 A ∞ -范数下收敛到固定点,且与初始
信息无关.
证明:根据公式(6)、公式(8)和公式(9),有:
a→
|| A || = ∞ || f λ ′ ( ) || = ∞ max a→ i ∑ b→ j ∂ ∂ λ b→ i j ≤ max a→ i b→ j τ a→ , i b→ ∑ j .
λ