Page 319 - 《软件学报》2021年第12期

江泽涛 等:一种基于 MDARNet 的低照度图像增强方法 3983

最后,将得到的基于通道的权重向量与输入 x in 的各个通道层进行相乘,即可得到通道注意结果为
x CA =CA(x in )=CAVector(x in )⊗x in (17)
2.2.3 多尺度特征提取模块
由于卷积操作的感受野有限,因此,采用固定尺度大小的单个卷积核对图像进行特征提取也局限了特征提
取的结果.为了能够更好地提取到图像的特征,本文采用 3 个不同尺度的卷积核分别对图像进行特征提取,然后
将多个尺度的卷积结果进行通道拼接,如图 2 的 f MS 所示.本文利用非对称卷积的优点,将多尺度卷积设计为二维
的方块形卷积与一维的卷积相结合的形式,实现对图像的多维特征提取.由于此模块对原始图像进行初步特征
提取,因此一维卷积采用大尺寸的卷积核,即,此处多尺度卷积核大小分别为一个 3×3,一个 1×5 和一个 5×1.其次,
为了能够最大限度地利用提取到的特征,此处将 3 个不同尺度提取到的特征图进行通道连接:
F MS =Concat[H 1×5 (x in ),H 3×3 (x in ),H 5×1 (x in )] (18)
然后,利用像素注意模块对该多尺度特征图 F MS 进行加权学习,由此获得多尺度特征提取模块的输出结果
X MS 可表示为
X MS =f MS (x in )=PA(F MS ) (19)
2.2.4 密集特征提取模块
密集卷积神经网络(DenseNet)是 Huang 等人 [28] 为了克服随着 CNN 深度的增加而出现梯度弥散的问题而
提出的一种网络结构,它确保了网络中各层之间的最大信息流,且能够有效缓解梯度消失问题、增强特征传播,
大大减少了参数量,同时能够增强网络的泛化能力.本文设计的密集跳跃结构设计如图 2 中的 f Dense 模块所示,
实现在多尺度特征提取模块的结果提取到更丰富、更高阶的特征,为后续的环境光照与噪声分量估计奠定特征
基础.首先,为了更好地定义密集特征提取模块,将跳跃卷积单元(skip conv unit,简称 SConv)定义为两个非线性
运算和一个拼接层:
SConv(x in )=Concat[H k×k (x in ),H k×k (H k×k (x in ))] (20)
然后,f Dense 由 N 个跳跃卷积单元构成,且所有的跳跃卷积单元输出结果将被连接在一起,即:
F SConv =Concat[SConv 1 ,…,SConv i ,…,SConv N ] (21)
其中,SConv i 表示第 i 个跳跃卷积单元的输出结果.最后,用一个非线性映射对进行降维,得到密集特征提取模块
f Dense 的输出结果:
X Dense =H k×k (F SConv ) (22)
公式(22)输出的结果 X Dense 通过密集卷积进一步提取特征之后,具有比 X MS 更加丰富的特征.
2.2.5 环境光照与噪声分量估计模块
在密集特征提取结果 X Dense 上,环境光照估计模块先通过一个通道注意模块和像素注意模块对特征图进行
权重学习.通过基于通道注意力和像素注意力的结合,实现对特征图中不同通道和不同像素区域的关注学习,能
够有效提取特征中的环境光照和噪声信息.然后,利用 1×1 非线性映射对特征进行降维,得到三通道特征图后进
行取对数运算,得到输入图像 X 的环境光照与噪声的估计为
( ) =
EX log[PA (CA (X Dense ))] (23)
由此,根据公式(23)可以得到环境光照与噪声信息的估计图.最后,结合公式(10)和公式(23)即可得到增强结
果图.但为了避免在网络传播过程中出现像素点的值超出(0,1)范围,本文在输出结果图之前,使用 Sigmoid 函数
进行像素值的映射,即:
Y = S [log( )X − E ( )]X (24)
上式中, Y 即为低照度图像 X 经过 MDARNet 的多尺度特征提取模块 f MS 、密集特征提取模块 f Dense 和环境
光照分量估计模块 f gaussions 处理之后得到的最终低照度图像增强结果,从而实现增强图像照度和抑制环境噪声.

2.3 MDARNet的损失函数
MDARNet 网络模型的训练目的是,将输入低照度图像 X 送入网络得到照度增强图像 Y 与对应的正常照度
图像 Y 尽可能接近.目前,机器视觉任务中用于度量图像对应像素点之间差异的损失函数中,运用较为广泛的有