Page 137 - 《软件学报》2021年第9期

肖进胜 等:面向图像场景转换的改进型生成对抗网络 2761

2.3 损失函数
2.3.1 损失函数组成
本文损失函数共使用了 4 种,GAN 损失、L 1 损失、VGG 损失和 FM(feature matching,特征匹配)损失.首先,
对于生成对抗网络,由于本文使用多尺度判决器,因此生成对抗网络的优化问题表示为
min max ∑ L ( ,GD ) (14)
G DD 2 ,D 3 k = 1,2,3 GAN k
1 ,
x 为输入图像,y 为目标图像.其中,GAN 损失表达为
L GAN (G,D k )=E (x,y) [logD k (y)]+E x [log(1−D k (G(x)))] (15)
该算法对于生成器的生成结果还要加入限制,对生成图像进行评价,引入 L 1 损失:
() =
LG E [|| y G− ( ) || ]x (16)
1 L (, )x y 1
为了使输出图像更加逼近真实图像,引入特征匹配(FM)损失.具体来说,从判决器多个层来提取特征并学习
()i
来匹配真实图像和合成图像的中间特征.表示第 i 层特征提取器 D (从输入到 D k 判决器的第 i 层).然后计算 FM
k
损失 L FM (G,D k )如下:
T
L FM (,D = G k ) E (, ) y ∑ 1 [|| D () i k ( , ) y − x D k () i ( , ( )) || ] (17)
x G x
x
1
i= 1 N i
其中,T 是判决器总层数,N i 表示层数每层中的元素数量.为了两个图像特征之间的差距,引入 VGG 损失,通过预
先训练的 VGG 网络,提取图像的特征,定义 FM 损失为
N
L VGG () = G i= 1 1 [|| F () i ( ) y − ∑ F () i ( ( )) || ] (18)
G x
1
M
i
(i)
其中,F 表示 VGG 网络的第 i 层,M i 表示该层的元素个数.因此,本文算法最终总的损失函数优化目标表示为
⎛ ⎞ ⎞⎛
min⎜ max ∑ L ( ,GD ⎟ ) + λ L ( )G + λ 2 ∑ L ( ,G D + ) λ L ( )G ⎟⎜ (19)
G ⎜ ⎝ DD 2 ,D 3 k = 1,2,3 GAN k ⎠ ⎝ 11 k = 1,2,3 FM k 3 VGG ⎟ ⎠
1 ,
而对于损失函数各个部分的作用,本文将在第 2.3.2 节中进行实验分析,验证本文算法改进的损失函数的有
效性和必要性.
2.3.2 损失函数的设置
本文的损失函数一共由 4 部分组成,分别为:GAN 损失,L 1 损失,FM 损失,VGG 损失.本文算法是基于 GAN
框架,故对比了总损失(total loss)、不使用 VGG 损失(no_VGGloss)、不使用 L 1 损失和 FM 损失(no_matchingloss)
这 3 种情况下的实验结果.
由图 6 可以看出:在不使用 VGG 损失时,则会出现图像失真,比如图 6 中,线框区域,在天空、跑道等位置会
出现不规则椭圆形的近似白色的“异物”.没有了 VGG 损失的限制,会出现图像的失真.当没有 L 1 和 FM 损失时,
图像不会出现失真,但是图像的色彩会出现偏差.在没有 L 1 和 FM 损失时,雾气整体偏深色;而使用了 L 1 和 FM 损
失后,颜色正常.

Fig.6 Comparison of different loss function
图 6 不同损失函数结果对比