Page 314 - 《软件学报》2021年第10期
P. 314
3286 Journal of Software 软件学报 Vol.32, No.10, October 2021
t
基础模块;f concat 表示拼接上一阶段输出与原始输入图像的通道;T 表示最大的循环次数;X 表示原始输入图像与
基础模块输出信息的负残差,并作为下一个阶段的输入,逐步地消除雨痕信息.
多阶段去雨的网络架构使得网络不断加深,导致后面阶段无法学习到之前提取的特征信息.本文采用长短
时间记忆网络(LSTM)使信息得到有效的传递.LSTM 网络中引入一个新的内部状态单元,该状态单元既可以线
性地循环信息传递,又可以非线性地输出信息给隐藏层的外部状态;同时引入门控机制来控制特征信息积累的
速度,它会有选择地加入新的信息并遗忘之前积累的信息,让网络学习到更久远的特征信息.LSTM 网络包含输
入门 i t 、遗忘门 f t 、状态单元 C t 和输出门 O t ,具体过程定义如下:
i t (W xi X t W hi H t 1 W ci C t 1 b i )
f (W X W H W C b )
t xf t hf t 1 cf t 1 f
C f C i tanh(W X W H b ) (3)
t t t 1 t xc t hc t 1 c
O t (W xo X t W ho H t 1 W co C t b o )
H O tanh( )C t
t
t
其中,X t 是由 MSDC 模块提取出来的特征;C t 编码的状态单元被传送到下一个 LSTM 网络;H t 表示当前 LSTM 的
输出,它将会被送入到双注意力的残差块.
2.2 多尺度平滑扩张卷积
上下文的信息对于检测和移除雨图像中的雨痕十分重要,扩张卷积可在不减少分辨率的情况下,指数化地
扩大感受野区域.然而,研究者们在工作中发现:原始的扩张卷积会产生网格伪影问题,在扩张率大于 1 时,输出
特征中的相邻单元是由输入元素中完全独立的单元组计算得到,进而导致局部信息的不一致.在文献[18]中,作
者针对扩张卷积会产生网格伪影现象,提出了可分离和共享的卷积平滑扩张卷积:“可分离”表示将对应的输出
通道和输入通道连接,“共享”表示所有输入和输出通道共享权重.作者通过在输入单元和扩张卷积之间或者扩
张卷积和输出单元之间添加一个额外的核为(2r1)的卷积层来克服网格伪影.由于雨痕的多样性和背景的复杂
性,为了避免生成图像出现伪影问题,本文使用了这种扩张卷积.如图 1 所示的聚合模块(MSDC),通过多尺度的
平滑扩张卷积聚合来学习雨的特征.在网络中,首先使用 3 个不同扩张因子的平滑扩张卷积(扩张因子分别为
1~3)来聚合不同尺度雨痕的细节,然后通过循环的结构,在下一个阶段逐渐地扩大感受野.本文所用平滑扩张卷
积的卷积核大小为 33,在每个扩张卷积后面,使用一个修正线性单元(ReLU)激活函数.
2.3 双注意力的残差网络
注意力机制在人的感知领域 [30] 非常重要.当人们在看一幅图像的时候,他们会有序地看过整幅图像,并停留
在那些比较突出的场景,而不会将关注点放在整幅图像.最近,一些学者将注意力机制引入到卷积神经网络中,
明显提高了在大场景下物体分类的精度 [31] .在文献[20]中,作者提出注意力的卷积块(convolution block attention
module),对于给定的中间特征映射,他们依次沿着通道和空间维度推断出注意力图,然后将注意力图与输入的
要素图相乘,以自适应地细化特征.综合之前的去雨工作,一些方法在去雨之后,图像细节部分不能保留或者很
好地恢复.在设计去雨网络时,为了更好地提取特征、保留和恢复背景的纹理细节,本文将通道和空间注意力引
入残差块中.如图 1 的 RDAB 模块所示,RDARENet 用 6 个注意力的残差块组成残差模块.在网络的残差块中,
输入的要素首先经过两次卷积操作,输出的特征图 FR CHW ,将它送入到注意力模块,然后依次推断出一维的
通道注意力图 M c R C11 和二维的空间注意力图 M s R 1HW ,具体过程可以总结如下:
F M ()F F
c (4)
F M s ()F F
其中,表示元素相乘.通道注意力的值沿着空间的维度传播,同时,空间注意力的值也在每个通道传播,F为注
意力输出的特征图,它将与输入要素相加输入到下一个残差块.
通道注意力和空间注意力模块的具体操作如图 2 所示.在通道注意力模块中,输入的特征图首先经过平均
池化(AvgPool)和最大池化(MaxPool)的操作计算出特征,然后将特征送入共享的多层感知机模型(含有一个隐