Page 135 - 《软件学报》2021年第9期

肖进胜 等:面向图像场景转换的改进型生成对抗网络 2759

如图 2 所示:网络整体呈现左右对称的结构,左侧为卷积操作,右侧为反卷积操作.

Fig.2 Generator network structure
图 2 生成器网络结构
将卷积层-batch Normalization(BN 层)-prelu 看作一个模块,记为一层.输入图像经过多层卷积操作,得到中
间层,这时如图右侧表示,相应的卷积层再进行反卷积,此时,将反卷积层-batch Normalization(BN 层)-prelu 看作
一个模块,记为一层.同时,再与左侧对应的卷积层信息直接相加,最后得到图像的输出.每个卷积层和反卷积层
的参数设置为卷积核大小为 4×4,padding 为 0,stride 为 1.
2.1.2 生成器网络模型对比
本文设计的生成器网络与 pix2pix 网络同样利用的跨层连接,但网络整体结构不同:pix2pix 网络采用编码
器-解码器结构,先进行多层下采样再进行多层上采样,每经过一层下采样,图像的长宽各减小一半;本文的生成
器网络没有进行上采样和下采样,而是单纯地进行多层卷积和反卷积操作.为了证明本文提出的算法生成器结
构的优越性,比较了两种算法的实验结果.实验时,网络的判决器个数为 1,损失函数为 GAN 损失和 L 1 损失.本文
以图像加雾的训练集进行训练,加雾结果如图 3 所示.

Fig.3 Comparison of different generator structures
图 3 不同生成器结构结果对比

由图 3 可见,两种算法的加雾效果在细节上有所不同.Pix2pix 在平坦的区域有块效应出现,而本文效果较为
平滑,如图中的右下部分实线框区域.
2.2 判决器结构
2.2.1 多尺度判决网络
GAN 生成图像的难点在于让生成图像的过程可控,即生成更加真实和清晰的图像,而这对 GAN 判决器设
计提出了重大挑战.为了区分真实图像和生成图像,判决器需要具有大的感受野.这就需要设计更深的网络结构
或者采用更大的卷积核,但两者都会增强网络能力并可能导致过拟合.此外,这两种选择由于增加了网络复杂程
度,都需要更大的内存占用.为了解决这个问题,本文采用多尺度判决器,也即多个判决器在不同尺寸的输入图
像下进行.本文最多使用了 3 个判决器,分别记作 D 1 ~D 3 .当使用 3 个判决器时,是分别对图像下采样一倍和两倍