Page 304 - 《软件学报》2020年第12期

3970 Journal of Software 软件学报 Vol.31, No.12, December 2020

个密集块输出的特征图都会作为后面密集块的输入,有效解决了深层网络中的长期依赖问题;
• 引入轮廓波变换,将图像问题的求解从空域转换到变换域.具体地,分别将退化图像和重建图像的分解
子带作为 CDCNN 的输入和输出,借助轮廓波变换优秀的稀疏表示能力,通过低频子带捕获图像的全
局拓扑结构,高频子带复原出图像更加逼真的结构和纹理细节;
• 本文提出的模型可以应用于图像去噪、超分辨率及 JPEG 解压缩.标准验证集上的实验表明:本方法在
3 个图像复原任务上都达到了目前最优性能,主观结果进一步证明了本文方法在结构和纹理细节重建
上的显著优势.
本文第 1 节介绍图像复原的相关工作.第 2 节详细叙述基于 CDCNN 和轮廓波变换结合的图像复原方法.
第 3 节为实验评估.最后为总结.

1 图像复原相关工作

与传统方法相比,CNN 凭借极强的学习能力,使图像复原能力得到了显著提升.这部分将对图像复原任务上
CNN 方法的相关工作进行回顾.
作为图像超分辨领域最早的 CNN 方法,Dong 等人 [10] 提出的 SRCNN 模型在重建精度上明显高于传统方法.
但由于输入网络前需要对图像进行上采样预处理,造成该方法存在计算复杂度过高的问题.为了提高速度,Dong
等人 [13] 和 Shi 等人 [25] 分别引入了反卷积层和亚像素卷积层替换上采样预处理,将这两个卷积层作为 CNN 的上
采样模块,使大部分的卷积操作可以在低分辨率空间执行.借助上采样模块,计算复杂度大幅度降低,这在此后
的很多超分辨率方法中也得到了沿用,例如 DDSR [26] ,LapSRN [27] ,DBPN [28] 及 IDN [29] 在上采样模块中用了反卷
[1]
积层,CARN [30] ,EDSR [31] ,SRMD ,MSRN [32] ,RCAN [15] 和 RDN [33] 则使用了亚像素卷积.除了上采样模块,特征提
取模块是另一个重要组成部分,很多方法的特征提取模块由一系列相同的基础块串联而成 [30−35] ,每个基础块对
特征的挖掘能力将对重建性能起到至关重要的作用.残差块 [36] 和密集块 [33,37] 是超分辨率 CNN 中比较常用的基
础块,此外,Hui 等人 [29] 将一种新颖的信息蒸馏块作为基础块,Li 等人 [38] 在残差块和密集块 [37] 的基础上设计了多
尺度残差块作为基础块,Zhang 等人 [33] 在密集块基础上引入局部残差学习和局部特征融合,使深层网络的学习
更加稳定.在图像识别等高层计算机视觉任务中,GoogLeNet [36] 和 ResNet [39] 的优异表现证明了增加 CNN 深度对
提高性能的有效性.显然,这个结论在底层视觉任务中同样适用.除了提高每个基础块能力,增加基础块数量成
为了提升性能的有效途径.从最初 3 层卷积的 SRCNN [14] 到 80 层的 MemNet [34] ,再到最近提出的 400 层的
RCAN [15] ,CNN 深度的增加带来了性能的显著提升.但是,简单地增加深度会带来很多问题,梯度消失和梯度爆
炸导致训练不稳定,计算量和参数量的大幅增加导致应用价值降低.为了解决上述问题,很多新颖的 CNN 结构
设计和训练技巧被相继提出和应用,VDSR [40] 引入的残差学习和梯度裁剪策略让训练过程变得更加稳定.
DRCN [41] ,DRRN [35] 和 CARN [30] 通过引入递归结构,在基本保持性能的情况下大幅度降低网络的参数量.
MemNet [34] ,MSRN [32] 和 RDN [33] 充分地挖掘和利用图像不同层次的特征,为超分辨率重建提供了更多的线索.
与图像超分辨率领域相同,CNN 在图像去噪及 JPEG 解压缩任务上也取得了丰硕的成果,而且与超分辨率
领域的发展有很多相似之处,增加 CNN 网络深度同样带来了重建性能的显著提升.早在 2009 年,Jain 等人 [42] 就
将一个 4 层卷积的 CNN 结构应用于图像去噪任务,但由于网络深度过浅以及训练数据匮乏等原因,导致早期的
[2]
很多 CNN 方法 [42−44] 并不能获得理想的去噪结果.此后,Zhang 等人 提出了 DnCNN 模型,结合残差学习和批标
准化,使去噪能力得到了大幅度提升.Mao 等人 [45] 提出了 RED 模型,通过对称的跳跃连接,提高了训练的收敛速
度,并进一步提升了去噪质量.为了实现速度和精度更好的平衡,Santhanam 等人 [46] 提出了 RBDN 模型,Zhang 等
人 [47] 引入扩张滤波,提出了 7 层的全卷积网络.Dong 等人 [48] 最早提出了 4 层的 ARCNN 模型,用于去除 JPEG 压
缩造成的块效应.此后,TNRD [49] ,DDCN [50] 和 D3 [11] 模型在加深 CNN 结构的同时充分利用了 JPEG 压缩的相关先
验知识,大幅度提高了 JPEG 解压缩的能力.
基于 CNN 方法使图像复原的能力得到了显著提升,但这些方法的主要缺陷在于:由于丢失了大量纹理和结
构细节,造成重建图像存在过度平滑的问题.为了解决这个问题,很多基于生成对抗网络的方法 [30,31,38] 开始应用