Page 314 - 《软件学报》2021年第10期
P. 314

3286                                 Journal of Software  软件学报 Vol.32, No.10, October 2021

                                                                                       t
                 基础模块;f concat 表示拼接上一阶段输出与原始输入图像的通道;T 表示最大的循环次数;X 表示原始输入图像与
                 基础模块输出信息的负残差,并作为下一个阶段的输入,逐步地消除雨痕信息.
                    多阶段去雨的网络架构使得网络不断加深,导致后面阶段无法学习到之前提取的特征信息.本文采用长短
                 时间记忆网络(LSTM)使信息得到有效的传递.LSTM 网络中引入一个新的内部状态单元,该状态单元既可以线
                 性地循环信息传递,又可以非线性地输出信息给隐藏层的外部状态;同时引入门控机制来控制特征信息积累的
                 速度,它会有选择地加入新的信息并遗忘之前积累的信息,让网络学习到更久远的特征信息.LSTM 网络包含输
                 入门 i t 、遗忘门 f t 、状态单元 C t 和输出门 O t ,具体过程定义如下:
                                        i   t   (W   xi  X   t  W   hi  H t  1    W ci  C t  1    b i )  
                                         f    (W   X   W   H    W   C    b  )  
                                         t     xf  t  hf   t  1  cf  t  1  f  
                                                                             
                                        C   f   C    i  tanh(W    X   W   H    b  )          (3)
                                         t   t  t  1  t    xc  t  hc   t  1  c
                                        O   t   (W   xo  X   t  W   ho  H t 1    W co  C    t  b o )  
                                                                             
                                        H   O   tanh( )C t                 
                                                                             
                                          t
                                             t
                 其中,X t 是由 MSDC 模块提取出来的特征;C t 编码的状态单元被传送到下一个 LSTM 网络;H t 表示当前 LSTM 的
                 输出,它将会被送入到双注意力的残差块.
                 2.2   多尺度平滑扩张卷积
                    上下文的信息对于检测和移除雨图像中的雨痕十分重要,扩张卷积可在不减少分辨率的情况下,指数化地
                 扩大感受野区域.然而,研究者们在工作中发现:原始的扩张卷积会产生网格伪影问题,在扩张率大于 1 时,输出
                 特征中的相邻单元是由输入元素中完全独立的单元组计算得到,进而导致局部信息的不一致.在文献[18]中,作
                 者针对扩张卷积会产生网格伪影现象,提出了可分离和共享的卷积平滑扩张卷积:“可分离”表示将对应的输出
                 通道和输入通道连接,“共享”表示所有输入和输出通道共享权重.作者通过在输入单元和扩张卷积之间或者扩
                 张卷积和输出单元之间添加一个额外的核为(2r1)的卷积层来克服网格伪影.由于雨痕的多样性和背景的复杂
                 性,为了避免生成图像出现伪影问题,本文使用了这种扩张卷积.如图 1 所示的聚合模块(MSDC),通过多尺度的
                 平滑扩张卷积聚合来学习雨的特征.在网络中,首先使用 3 个不同扩张因子的平滑扩张卷积(扩张因子分别为
                 1~3)来聚合不同尺度雨痕的细节,然后通过循环的结构,在下一个阶段逐渐地扩大感受野.本文所用平滑扩张卷
                 积的卷积核大小为 33,在每个扩张卷积后面,使用一个修正线性单元(ReLU)激活函数.
                 2.3   双注意力的残差网络
                    注意力机制在人的感知领域           [30] 非常重要.当人们在看一幅图像的时候,他们会有序地看过整幅图像,并停留
                 在那些比较突出的场景,而不会将关注点放在整幅图像.最近,一些学者将注意力机制引入到卷积神经网络中,
                 明显提高了在大场景下物体分类的精度              [31] .在文献[20]中,作者提出注意力的卷积块(convolution block attention
                 module),对于给定的中间特征映射,他们依次沿着通道和空间维度推断出注意力图,然后将注意力图与输入的
                 要素图相乘,以自适应地细化特征.综合之前的去雨工作,一些方法在去雨之后,图像细节部分不能保留或者很
                 好地恢复.在设计去雨网络时,为了更好地提取特征、保留和恢复背景的纹理细节,本文将通道和空间注意力引
                 入残差块中.如图 1 的 RDAB 模块所示,RDARENet 用 6 个注意力的残差块组成残差模块.在网络的残差块中,
                 输入的要素首先经过两次卷积操作,输出的特征图 FR                  CHW ,将它送入到注意力模块,然后依次推断出一维的
                 通道注意力图 M c R   C11  和二维的空间注意力图 M s R   1HW ,具体过程可以总结如下:
                                                    F   M  ()F   F 
                                                         c                                           (4)
                                                    F  M  s ()F     F  
                 其中,表示元素相乘.通道注意力的值沿着空间的维度传播,同时,空间注意力的值也在每个通道传播,F为注
                 意力输出的特征图,它将与输入要素相加输入到下一个残差块.
                    通道注意力和空间注意力模块的具体操作如图 2 所示.在通道注意力模块中,输入的特征图首先经过平均
                 池化(AvgPool)和最大池化(MaxPool)的操作计算出特征,然后将特征送入共享的多层感知机模型(含有一个隐
   309   310   311   312   313   314   315   316   317   318   319