Page 315 - 《软件学报》2021年第10期

张学锋 等:基于双注意力残差循环单幅图像去雨集成网络 3287

藏层)产生通道注意力图.空间注意力模块通过聚合平均池化和最大池化的特征图,送入到核为 77 的卷积核中
卷积,产生二维的空间特征图.通道和空间注意力都在平均池化和最大池化两个方面对特征进行提取聚合,以进
一步提高网络的表征能力.

Fig.2 Channel attention module and spatial attention module, represents Sigmoid function
图 2 通道注意力和空间注意力模块, 表示 Sigmoid 函数

在去雨网络的结构中,通道注意力关注于每一层雨痕的信息,雨痕遮挡的信息需要用周围的信息来逐步地
恢复,空间注意力则利用同一通道不同位置特征之间的联系来修复雨痕部位.输入的特征经过双重注意力模块
与原始输入特征融合,使图像在雨痕的去除和细节的恢复上明显得到提高,生成的图像更接近原始图像.在残差
块中,为了避免随着网络的加深丢失图像低层细节,使用跳跃连接(skip connection)将低层和高层特征连接起来.
2.4 集成学习门控网络
在机器学习领域,集成学习已经运用得很广泛,单一模型的学习能力不强,无法预测出很好的结果.通过将
多个学习模型有机地结合在一起,以提高模型的泛化能力.受此启发,在神经网络中,Huang 等人 [22] 和 He 等人 [32]
将集成学习的思想应用到多种计算机视觉的任务中,明显提升了网络的效果.
RDARENet 是一个多阶段逐步细化去雨的过程,网络中各个阶段都学习到不同的去雨信息.为了提高网络
的泛化能力,文献[33]通过添加额外的门控网络,将粗粒度和细粒度的去雨阶段聚合.将每个阶段输出结果的通
道拼接在一起输入到门控网络,门控网络的输出为每一阶段 F 1 ,F 2 ,…,F t 对应不同的权重值 1 , 2 ,…, t (t 表示最
大的循环次数),阶段的权重是通过网络自主学习.最后,每个权重乘以对应阶段的输出结果再线性相加:
( , ,...,  GF ,..., )F 
( ,F
)
1 2 t 1 2 t  (5)
F out   1 F  1   2  F 2 ...    t  F t 
如公式(5)所示,G 表示卷积核为 11 的门控网络,F out 表示集成学习的输出结果.在第 3 节中,我们将对每个
阶段和最终融合的输出结果进行比较,实验结果表明,集成学习的效果最好.
2.5 损失函数
一些混合损失函数,例如均方误差与边缘损失 [14] 、均方误差与结构相似度 [23] 和对抗损失 [34] ,被用来训练去
雨网络.边缘损失针对于恢复图像的细节,感知损失是将真实图像和生成图像分别经过卷积得到的特征图相比
较,使得在内容与全局结构的高层信息接近.通过在第 3 节中加入均方误差、多阶段损失和感知损失来联合训
练 RDARENet 网络,发现单一的负结构相似度损失函数可以很好地训练网络.损失函数如公式(6)所示,X out 代表
gt
集成学习输出图像,X 代表相对应的真实无雨图像:
gt
out
Loss=SSIM(X X ) (6)
3 实 验
本文在仿真雨数据集和真实雨天数据集测试 RDARENet 网络.通过结构相似度(SSIM)和峰值信噪比
(PSNR)评价不同数据集上的表现.同时,将本文的算法与最新的几种算法进行比较:(a) 混合高斯模型(GMM)
[1]
(CVPR’16) ;(b) 深度细节 网络 (DNN)(CVPR’17) [11] ;(c) 循环的扩张 卷积和挤压 与激发网络 (RESCAN)
(ECCV’18) [15] ;(d) 渐进式网络(PReNet)(CVPR’19) [16] .
本文基于 Pytorch 库构建的去雨网络,在 NVIDIA GeForce RTX 2080Ti GPU 上训练模型.训练图像的大小为
3
100100 像素,批训练大小为 10.采用 ADAM 算法去训练模型,初始化学习率为 110 ,总共训练迭代 100 次.在