Page 316 - 《软件学报》2021年第10期

3288 Journal of Software 软件学报 Vol.32, No.10, October 2021

第 30 次、第 50 次、第 80 次迭代时,学习率每次乘以 0.2 降低.
真实环境下很难获得大量成对无雨和有雨的图像,因此使用仿真雨的数据集去训练本文的网络.Yang 等
人 [12] 收集仿真小雨 Rain100L 和大雨 Rain100H 数据集,每个数据集都有 100 张测试图像.Ren 等人 [16] 删除
Rain100H 中与测试集相同的图像,使网络有更好的泛化能力.在本实验中,使用的数据是 Ren 等人提供的数据
[1]
集、Zhang 等人 [35] 的数据集 Rain800(含有 700 张训练图像和 100 张测试图像)以及测试数据集 Rain12 .真实的
雨图像是从网络下载的,用来测试网络模型在真实情景下的去雨能力.
3.1 融合学习
3.1.1 网络框架
本小节分析 RDARENet 中的两个模块,分别是阶段循环次数、每个阶段的预测结果与集成学习输出结果
的比较.
 循环的次数
网络中使用注意力残差块的个数为 6.所用的训练数据为 Rain100L,见表 1,T=3,4,5,6,7 循环阶段,通过评价
指标 PSNR 和 SSIM 值的比较,在循环次数 T=6,PSNR 和 SSIM 的值都取得最好且优于其他,所以设置网络阶段
的循环次数为 6.
Table 1 Comparison of RDARENet models with different T stages
表 1 比较不同阶段次数的 RDARENet 模型
Model RDARENet 3 RDARENet 4 RDARENet 5 RDARENet 6 RDARENet 7
PSNR 37.887 38.378 38.003 38.547 38.341
SSIM 0.980 0.981 0.981 0.982 0.982

 阶段和集成输出结果
如图 3 所示,在 Rain100H 训练集上训练网络,分别选取了阶段 1、阶段 3 和阶段 6 的输出图像以及集成输
出图像.在 PSNR 和 SSIM 评价指标比较输出图像,集成输出图像的值明显高于其他各阶段.PSNR 和 SSIM 值分
别为:图 3(b),19.369/0.705;图 3(c),25.918/0.842;图 3(d),24.621/0.785;图 3(e),27.424/0.895.

(a) 雨图 (b) 阶段 1 (c) 阶段 3 (d) 阶段 6 (e) 集成图
Fig.3 Comparison of the different stages outputs and ensemble output
图 3 比较不同阶段输出图以及集成输出图
3.1.2 模块的融合
为了验证各个不同模块在网络中的重要性,本文进行了融合学习.如表 2 所示,在 Rain100L 数据集上验证不
同模块对网络的效果.首先,使用 6 个连续的残差网络(RB)作为基础的去雨网络.通过在每个残差网络的残差块
中添加通道注意力和空间注意力模块,使得网络更好地关注于雨痕和背景图层,细化地提取以及区分雨痕和背
景特征.由于雨痕的密度、形状和方向的复杂性,本文在每个残差网络前都添加多尺度扩张卷积(MSDC)来聚合
雨痕信息,并且避免因为网络加深造成低层细节的丢失,在多尺度扩张卷积模块和注意力的残差网络之间添加
长短时间记忆网络(LSTM).多阶段去雨网络在每个阶段都输出去雨图像,门控网络则可以自动融合各阶段去雨
图像之间的差异,使得图像去雨的效果更好.