Page 306 - 《软件学报》2020年第12期

3972 Journal of Software 软件学报 Vol.31, No.12, December 2020

退化图像 I LR 经过浅层特征提取模块后,输出的特征图可以表示为 F shallow ,在其后面跟随 D 个级联 DB.令
F d_output 表示第 d(d=1,2,…,D)个 DB 的输出,则第 d 个 DB 的输入可以表示为
F d_input =[F shallow ,F 1_output ,F 2_output ,…,F d-1_output ] (2)
LR
其中,[⋅]表示通道拼接操作.如图 1 中,CDCNN 中引入了跳跃连接,通过残差学习即得到重建图像 F CDN (I ):
LR
F CDN (I )=F final (F D_output )+I LR (3)
其中,F final 表示连接在最后一个 DB 后的卷积函数,用于改变输出的通道数.
2.2 轮廓波变换域的CDCNN
与小波变换相比,轮廓波变换为图像提供了更好的稀疏表示 [24] .本文提出的方法利用一级轮廓波变换和
CNN 结构结合,图 3 中给出了轮廓波变换和小波变换的高频子带融合示意图,即,将同一尺度不同方向的高频子
带按元素相加.为了直观显示,将高频子带系数扩大 20 倍.如图 3 所示:小波变换的高频系数不够连续,而且丢失
了很多细节信息,例如蝴蝶图像中一些条纹的边缘;与之相比,轮廓波变换高频子带则可以更好地捕获到图像的
高频信息(如边缘、轮廓及纹理等细节).

Fig.3 Comparison of contourlet transform and wavelet coefficients
图 3 轮廓波变换和小波变换系数对比

本文在 CDCNN 的基础上,引入轮廓波变换去恢复更多的高频细节,将传统 CNN 空域像素的预测问题转变
为轮廓波变换域系数的预测问题,如图 4 所示.首先对退化图像进行一级轮廓波变换,获得一个低频子带和 4 个
高频子带:低频子带为近似系数,捕获了输入图像的全局拓扑关系;高频子带为细节系数,稀疏地表示了图像不
同方向上的高频信息.然后,分别将低频子带和高频子带输入到两个 CDCNN 中.最后,将两个 CDCNN 的输出子
带进行组合,通过逆轮廓波变换即可得到复原图像.这种方法简单且有效,而且同样适用于其他基于 CNN 的图
像复原方法.

Fig.4 Prediction of contourlet transform sub-bands
图 4 轮廓波变换子带的预测

3 实 验

这部分将从客观评估指标和主观重建效果两个方面衡量图像的复原能力.训练图像来自 DIV2K [51] 中包含
800 张图像的原始训练集,且均未经过任何数据扩充;测试图像来自于 Set5,Set14 和 BSD100 这 3 个经典的测试
集.采用大小为 48×48、步长为 36 的滑窗在退化图像和高质量图像上选取出对应的图像块.然后对每个图像块
进行一级轮廓波变换,得到训练样本对.初始学习率设置为 0.00 01,每 50 个 epoch 降低一半,在 Tesla P40 上训练
150 个 epoch 可达到收敛.