Page 118 - 《软件学报》2021年第11期

3444 Journal of Software 软件学报 Vol.32, No.11, November 2021

(2) 对目标函数第 2 项有如下变换.
⎛ n n n ⎤ ⎞ ⎡
×
首先设 D = diag ⎜ s 1 j ∑ , s ,..., ∑ s ⎥∑ nj ⎟ ⎢ ∈ R nn ,进行下列转化:
⎜ ⎣ j= ⎝ 1 j= 1 2 j j= 1 ⎦ ⎟ ⎠
1 n α || xW − ∑ W || s = x 2 α ∑ n (Wx T s xW − Wx T s x W )
T
T
2 , ij i j 2 ij , ij i ij i i ij j
⎛ n n ⎞
T
α= ⎜ T T i d x W − ⎜ ∑ Wx Wx T i s x W ⎟∑ ⎟ (11)
j
ii
ij
j
⎝ i , i j ⎠
T
α tr (WX DXW − W X SXW )
T
T
=
T
α= tr (WX LXW )
T
T
其中,L=D−S,L 为拉普拉斯矩阵.
最终,目标函数转化为
⎛ 1 ⎞
T
T
−
min || QGW − || + Ub 2 α tr (W X LXW ) β + ||W || + λ ⎜ || || − v 2 || || 1⎟ (12)
v
,,v
WB 2 2,1 ⎝ 2 2 ⎠
2) 固定 v,W 后优化 b,此时目标函数为
−
min || QGW − Ub || 2 (13)
b 2
对 b 求导,令导数为 0,结果为
−1
T
T
T
b=(U U) (U Q−U GW) (14)
3) 固定 v,b 后优化 W,此时目标函数为
T
−
T
min || QGW − || + Ub 2 α tr (W X LXW ) β + ||W || (15)
W 2 2,1
定义一个对角矩阵 O:
O = 1 ,
ii
2|| w i || 2
T
得 2tr(W OW)=||W|| 2,1 .“2”与“β”都是系数,将两者合并在一起,目标函数转换为
T
T
T
min( − Q − GW Ub ) ( − T − ) α Q GW + Ub tr (W X LXW ) β + tr (W OW ) (16)
W
对公式(12)中的 W 求导,令导数为 0,结果为
−1
T
T
T
T
W=(G G+αX LX+βO) (G Q−G Ub) (17)
4) 固定 B,W 后优化 v,此时目标函数为
⎛ 1 ⎞
−
2
min || QGW − || + λ ⎜ |||| −Ub v 2 |||| 1⎟ (18)
v
v 2 ⎝ 2 2 ⎠
v 的取值根据损失函数和参数λ决定:
⎧ − l + ⎪ 1, l λ<
v = ⎨ λ (19)
i
⎪ ⎩ 0, l ≥ λ
2
−
l 表示损失函数 F(W,x i ,y i )的值: || QGW − Ub || .
2
算法 2. 求解稀疏回归参数矩阵.
输入:训练样本 X∈R n×d ,Y∈R n×c ,参数α,β,λ.
输出:稀疏回归参数矩阵 W∈R d×c .
1. t=1 //t 为迭代次数
2. 初始化参数α,β,λ,W,b,O
3. 通过公式(14)计算 b
4. 通过公式(17)计算 W