Page 312 - 《软件学报》2021年第10期

3284 Journal of Software 软件学报 Vol.32, No.10, October 2021

雨痕会降低图像或者视频的质量,造成一些计算机视觉任务不能正常工作,例如视频监督、自动驾驶、物
体检测和图像分类等领域.如何有效地去除图像和视频中的雨痕,一直是计算机视觉方向的研究热点.本文主要
关注单幅图像的去雨任务.
[1]
在过去的几年中,研究者们提出一些基于图像先验的方法来处理去雨问题,例如高斯混合模型(GMM) 、代
[2]
表学习(representation learning) 和字典学习(dictionary learning) [35] .这些方法认为:雨图像是背景图层和雨痕
层相结合的模型,通过将雨痕层从雨图像中分离出来,得到无雨的背景图层.但是由于雨痕和背景图层的复杂组
合或者因大雨而产生的薄雾等情况,导致在实际中去除雨痕的效果并不是很好.随着深度学习在底层视觉领域
[9]
的应用 [68] ,单幅图像去雨再次在深度卷积网络(CNN)的基础上取得了突破性的进展.Fu 等人 首先提出应用三
层卷积网络结构直接学习雨图像和无雨图像细节之间的映射关系,通过在高层的细节中移除雨痕,得到无雨的
背景图像.随后,在卷积神经网络的基础上,许多模块也被应用在去雨网络中,例如密集连接模块 [10] 、残差模
块 [11] 、扩张卷积 [12] 、空间注意力 [13] 、多尺度信息 [12,14] 和挤压与激励模块 [14,15] .通过将这些模块嵌入去雨网络,
使得网络能够更好地去除雨痕和恢复背景的细节信息.在其他方面,一些文献 [12,1416] 通过实验发现:构建多个阶
段来逐步地去除雨痕,会提高去雨的效果.
结合之前学者的工作,本文提出了基于双注意力的残差循环单幅图像去雨集成网络(RDARENet) [17] .网络
架构如图 1 所示:去除雨痕的过程分成多个阶段来完成,在每个阶段中,首先使用多尺度的平滑扩张卷积 [18] ,它能
够增大网络感受野,而且极大地减小网格伪影的产生,通过不同的扩张因子卷积聚合特征信息来逐步地提取和
细化特征;同时,为了利用前一个阶段有用的去雨信息,使用长短时间记忆网络(LSTM) [19] 来指导下一个阶段的
去雨工作;最后,使用通道注意力和空间注意力 [20] 的残差网络,它包含 6 个双注意力的残差模块(residual dual
attentions).注意力机制能够在不显著增加计算量和参数量的前提下,更好地提升网络模型提取特征的能力,指
导网络模型注意雨痕信息,恢复和保留背景的细节特征.在网络的输出层,运用集成学习 [2123] 的思想,将每个阶
段的输出结果经过门控网络学习,自动分配各个阶段的权重再进行加权相加,得到最终无雨图像.训练过程只采
用单一的负结构相似性(negative SSIM) [24] 作为损失函数训练 RDARENet 网络.

Fig.1 Single image de-raining using a recurrent dual-attention-residual ensemble network structure
图 1 双注意力的残差循环单幅图像去雨集成网络结构图

本文的具体贡献归纳为以下 3 点.
(1) 提出了一个新的端到端单幅图像去雨网络(RDARENet).通过构建一个由多尺度扩张卷积聚合、长短
时间记忆网络和双注意力残差网络组成的基础模块,从浅层块到深层块,逐步地计算雨痕特征的残差