Page 138 - 《软件学报》2021年第9期

2762 Journal of Software 软件学报 Vol.32, No.9, September 2021

2.4 训练过程参数设置
• 生成器网络:卷积核大小为 4×4,步长为 1,padding 为 0,网络为左右对称的卷积,设置网络左侧卷积层 6
层,右侧带跨层连接反卷积层 5 层,整个网络共 11 层;
• 判决器网络:下采样层卷积核大小为 4×4,步幅为 2,下采样层个数 3 层,判决器的个数为 2;
• 损失函数:λ 1 =10,λ 2 =10,λ 3 =10,学习率(learning rate)为 0.0002.

3 实验结果

3.1 实验环境

算法的实验环境如下.
• 硬件设备:CPU:Intel Core i7-5820K @ 3.30GHz x 12;GPU:NVIDIA GeForce TITAN X;内存:16GB;
• 软件配置:操作系统为 64 位 ubuntu 14.04 LTS;CUDA Toolkit 7.0.
本文使用深度学习的框架为 Pytorch.
• 加雾训练集 [29] :利用软件 Adobe lightroom CC 加雾功能,对 Middlebury Stereo Datasets 和网上收集的无
雾图像进行加雾.分别对 76 张无雾图像集加浓度为 30,40,50,60,70,80,90,100 的雾,其中,室外场景 26
张,室内场景 50 张,最终形成 608 对含不同浓度雾的有雾图像与无雾图像的匹配图像对做训练集;
• SAR 图像训练集:网络上匹配图像裁剪,共 1 048 对 256×256 匹配图像;
• 白天黑夜转换训练集 [11] 共 17 112 张;
[1]
• 谷歌地图训练集 共 1 096 张.
3.2 主观结果分析
3.2.1 SAR 图像生成
之所以进行 SAR 图像合成,是由于目前通过可见光图像和 SAR 图像获得一致的匹配图像对有一定的难点.
由于时间、地点、噪声干扰等问题限制,再加上图像的校准也需要消耗大量的人力物力,因此可以尝试通过图
像生成的方法,从可见光图像中生成 SAR 图像,来获得特殊的地形地貌在 SAR 图像下的成像效果.
在 SAR 图像生成上,其他相似的 GAN 图像生成的算法并未有类似的转换测试,也无法评测用何种方法生
成 SAR 图像更加真实.为了更客观地评价从可见光图像向 SAR 图像转换,本文对比了其他 GAN 图像生成算法.
[1]
以下几种算法分别各有特点,都能够实现图像场景和内容的转换:Pix2pix 是利用匹配图像对进行图像生
成;CycleGAN [21] 能够利用非匹配图像训练集进行训练提取特征;MUNIT [22] 同样可以提供图像的内容转换,可以
从场景、内容上进行变化,在 CycleGAN [21] 基础上可能实现多种映射,同时生成多幅不同的转换图像.本文通过
[1]
对可见光图像和真实 SAR 图像组成的训练集对 CycleGAN [21] ,MUNIT [22] ,Pix2pix 和本文算法进行训练,在相
同训练集,不同算法得到如下对比结果,如图 7 所示.
由图 7 可见:
• CycleGAN 能在该训练集下生成呈黑白色图像,且在图像的内容上与可见光图像保持高度一致,但并不
能够学习到 SAR 图像的特定特征.比如图中树的形态在真实 SAR 图像和可见光图像中有很大差别;
再如街道在可见光图像中呈现近白色,而在真实 SAR 图像中是近黑色.而 CycleGAN 则并不能够学习
到这些 SAR 图像的特点,且 CycleGAN 更类似于把彩色图像转换成黑白;
• 而 MUNIT 则表现得更糟,甚至对于图像的内容都不能生成,这主要是由于 MUNIT 更多地会自己生成
一些内容;
• Pix2pix 和本文算法则更接近与真实的 SAR 图像.从图像的内容和景物上都能够明显体现,对于道路、
树、房屋的生成纹理和颜色都能够以假乱真.但是,Pix2pix 算法相比本文算法图像整体偏模糊且图像
会有一些不必要的纹理出现,如图中右下角的草坪.