Page 317 - 《软件学报》2021年第12期

江泽涛 等:一种基于 MDARNet 的低照度图像增强方法 3981

当 N=1 时,表示 SSR 算法;当 N>1 时,表示 MSR 算法.若令:
E ( )X = log(Gaussions ( ))X = log(F n * )X (9)
则最终增强图像可表示为
Y = log( ) log(X − Gaussions ( ))X = log( )X − E ( )X (10)
传统的 Retinex 算法通常根据先验知识直接构建一个高斯环绕函数,与低照度图像 X 进行卷积运算后,得到
环境光照分量的估计图 Y .然而在实际的应用中,通过先验知识进行估计运算的方法往往鲁棒性较差.因此,本
文借助卷积神经网络能够很好地学习数据特征的特性,用于代替估计 ()EX 的传统方法 [28] .

2.2 MDARNET模型设计
针对上述基于 Retinex 的图像增强问题,本文利用卷积神经网络对 Retinex 理论中的 ()EX 分量进行估计.
通过在网络中引入 Attention 机制与 DenseNet [29] 模块,增强对图像有用特征的提取和降低干扰特征的影响.提出
一种基于 Retinex 与 Attention 相结合的低照度图像增强网络——MDARNet(multiscale dense Attention Retinex
network),该网络能够有效地对低照度图像的亮度、对比度以及色彩实现增强,当图像存在噪声时,同样能进行有
效的降噪.MDARNet 的网络结构如图 2 所示.

Fig.2 Network structure of low illumination image enhancement method based on Retinex and Attention
图 2 基于 Retinex 与 Attention 的低照度图像增强方法的网络结构
MDARNet 模型分为 f MS ,f Dense ,f gaussions 这 3 个子模块,分别进行多尺度特征提取、密集特征提取、环境光照
与噪声分量估计.
首先,f MS 通过将多个不同尺寸和形状的卷积核直接用于对原始输入的低照度图像进行多尺度特征提取,并
将得到的多尺度特征进行连接;接着,利用像素注意模块(pixel-wise Attention,简称 PA)进行特征筛选,得到初步
图像特征 f MS (X);其次,f Dense 利用多个跳跃连接对 f MS (X)做进一步的特征提取,并将不同阶段输出的特征进行连
接和通道压缩,得到特征图 f Dense (f MS (X));然后,通过构建的通道注意模块(channel-wise Attention,简称 CA)和像素
注意模块对特征进行筛选,再通过一个 1×1 卷积将多通道特征图进行通道压缩,随后进行对数运算即可得到输
入图像的环境光照与噪声分量 ( )EX = f gaussions ( f Dense ( f MS ( )))X ;最后,根据公式(10)计算得到增强结果图.
2.2.1 非对称卷积
Ding 等人 [30] 证明了:采用非对称卷积可以显著增强标准方形卷积核的表示能力,并且可以有效减小运算的
复杂度.因此,本文采用如图 3 所示的非对称卷积方式代替部分的普通卷积.MDARNet 将一个非线性映射
(nonlinear mapping,简称 NLM)运算 H(⋅)定义为一个卷积运算和一个 ReLU 激活函数的组合,为了能够最大限度
地保留图像的信息,本文均不采用批量归一化,即:
x out =H k×k (x in )=max(x in *W k×k +b,0) (11)
其中,W,b 分别表示该非线性映射层的权重与偏置,k×k 表示卷积核的尺寸.由此,非对称卷积 AConv(⋅)可表示为
x out =AConv(x in )=H 1×k (x in )+H k×k (x in )+H k×1 (x in ) (12)