Page 313 - 《软件学报》2021年第10期

张学锋 等:基于双注意力残差循环单幅图像去雨集成网络 3285

信息;
(2) 使用集成学习的思想,设计门控网络自动学习各个阶段的权重,将各个阶段的输出结果乘以门控网络
对应的权重再线性相加.在网络训练的过程中,只使用单一的负结构相似性作为网络的损失函数;
(3) 在仿真和真实的雨图像数据集中,本文提出的方法在 SSIM 和 PSNR 评价标准上超过了最新的几种方
法,得到了恢复背景图像细节的无雨图像.
本文第 1 节介绍在图像去雨领域方面的相关研究.第 2 节提出单幅图像去雨网络的方法.第 3 节在仿真和
真实的雨数据集上,比较本文方法和目前主流的方法.最后总结全文并给出未来的改进目标.
1 相关工作

单幅图像去雨是一项具有挑战性的任务,目前,单幅图像去雨模型主要将雨图像 O 分解为无雨的背景图层
B 和雨痕层 R:
O=B+R (1)
通过将雨图像 O 中的雨痕层 R 移除,得到无雨背景图层 B.在之前的方法中,包括字典学习 [35] 、高斯混合模
[3]
[1]
型 和低秩表现 [25] ,它们都被用于背景图层或者雨痕层的建模.Kang 等人 首先提出将雨图像分解为高频层和
[4]
低频层,然后通过字典学习在高频层去除雨痕.Luo 等人 使用判别字典学习,通过很高的判别码强制雨痕层和
背景层共享最少的字典原子,分离这两层得到无雨图像.肖等人 [26] 提出基于景深和稀疏编码的图像去雨算法.这
些模型只是将雨图像认为是一种简单的线性组合,无法处理复杂环境下的雨图像,因此限制了模型去雨的能力.
近年来,由于强大的特征表达和端到端的数据推断能力,深度卷积网络被广泛应用于单幅图像去雨任务,并
实现显著的性能改进.通常将去雨问题建模为基于像素的图像回归过程,该过程通过卷积、池化和非线性等一
系列操作,将雨天图像映射为无雨图像或者以端到端的方式映射为负的残差图像.Yang 等人 [12] 采用多任务的卷
积神经网络框架去联合检测和移除雨痕,基于上下文的扩张卷积网络和循环结构处理多尺度的雨痕.在文献
[11]中,结合残差网络 [27] ,作者提出了深度细节网络(DDN)来学习雨水图像高频部分的残差.Zhang 等人 [10] 提出
了密度感知的多流密集连接卷积网络,用于联合估算雨密度和消除雨痕.Li 等人 [15] 提出使用循环的扩张卷积和
挤压与激发块(squeeze-and-excitation)的网络(RESCAN)消除雨痕.Ren 等人 [16] 提出渐近式的去雨网络(PReNet),
通过多阶段使用残差网络,拼接每个阶段输出和原始雨图像的通道作为残差网络的输入,最后输出负的残差图
像.一些轻量级的网络,如拉普拉斯算子的金字塔结构 [28] ,Fu 等人提高了网络计算的效率但却降低了生成图像
的质量.在损失函数方面,Johnson 等人 [29] 将感知损失作为新的衡量方法,感知损失是基于像素与像素的操作,被
用来计算输出图像与真实图像的特征图差异(例如,一般用预训练的 VGG16 网络提取特征),将它们的差异作为
惩罚项,抑制输出中发生伪影图像.上述去雨方法在去除雨痕和图像恢复的效果上都有明显提升,由于网络本身
的限制,一些网络输出的图像有伪影或者局部背景模糊,不能很好地保留和恢复图像细节.基于该问题,本文提
出的 RDARENet 网络不仅能去除雨痕,而且可以保留和恢复图像的细节.本文也尝试多种损失函数来联合约束
网络,实验结果表明,单一的负结构相似度损失函数可使模型实现较好的去雨效果.

2 RDARENet 框架

2.1 网络结构

RDARENet 的整体框架如图 1 所示,MSDC 表示多尺度扩张卷积的聚合模块,RDAB 表示是由多个基于通
道注意力和空间注意力残差块组成的残差模块.在单阶段雨痕去除的方法中,生成的图像仍然含有雨信息.为了
更好地去除雨痕,本文将去雨的过程分解为多阶段,如公式(2)所示:
  Y  F ( f (X t 1 , X 0 ))
t
 t MLRB 0 concat ,1≤≤ T (1)
t
t
X    Y  X
0
其中,X 表示原始有雨图像;F MLRB 表示由多尺度扩张卷积聚合、长短时间记忆和基于注意力的残差网络组成的