Page 303 - 《软件学报》2020年第12期

刘宇男 等:基于级联密集网络的轮廓波变换域图像复原 3969

study constructs a compact cascading dense network structure, which not only fully exploits and utilizes the different hierarchical features
of images, but also solves the problem of the long-term dependency problem as growing the network depth. Next, this study introduces the
contourlet transform into CDCNN, which can sparsely represent the important image features. Here, the contourlet subbands of
low-quality image and corresponding restored image are used as the input and output of the network respectively, which can recover
realistic structure and texture details more effectively. Comprehensive experiments on the standard benchmarks show that the unanimous
superiority of the proposed method on all three tasks over the state-of-the-art methods. The proposed method not only obtains higher peak
signal-to-noise ratio (PSNR) and structural similarity index (SSIM), but also contains more realistic textural details in the subjective
reconstruct images.
Key words: image denoising; super resolution; JPEG decompression; contourlet transform; cascading dense convolutional neural
network

作为重要的多媒体资源,图像是人们获取和传播信息的主要载体.但是,传输和存储过程中的很多因素都会
造成图像质量的退化,不仅影响了视觉效果,甚至严重干扰了对图像内容的正确理解.为了解决该问题,图像复
原技术应运而生,并逐渐成为计算机视觉领域的研究热点问题.
通常情况下,图像的退化模型可以表示为 x = Dx [1] ,这里的 D 和 n 分别表示退化函数和加性噪声.很多
() n+
图像复原方法都是借助该模型进行反向推演,由已知的低质量图像 x 重建出高质量的目标图像 x .在这些图像
复原方法中,超分辨率、去噪和 JPEG 解压缩是研究最广泛的 3 个经典任务.
图像去噪的目标是尽可能准确地去除图像上的噪声,这些噪声通常被认为是标准差为σ的加性高斯白噪
[2]
声.根据贝叶斯理论可知 ,先验信息可以在图像去噪时发挥重要作用.基于此发现,很多基于先验建模的方法获
[4]
[5]
[3]
得了比较理想的去噪结果,比如稀疏表示方法 、非局部自相似方法 和隐马尔可夫树建模方法 .但由于涉及
非凸优化问题并且需要手工初始化参数,这些方法普遍存在复杂度高、优化困难等缺点.图像超分辨率的目标
[7]
[6]
是根据低分辨率图像重建出高分辨率图像,早期的插值方法 和重建方法 具有处理速度快的优点,但却无法
获得令人满意的重建结果.与之相比,基于稀疏编码的学习方法 [8,9] 通过字典学习建立出低分辨率和高分辨率图
像块间的稀疏关联,使超分辨率重建的性能取得了大幅度提升.但传统学习方法将图像块的提取和融合看成了
相互独立的步骤 [10] ,且超分辨率的性能也极易受到手工初始参数的影响.JPEG 解压缩的目标是去除由于图像
JPEG 压缩造成的块效应 [11] ,早期的方法主要包括基于滤波的方法 [12] 和基于稀疏表示的方法 [13] ,虽然对压缩图
像的边缘起到了锐化作用,但残留的伪影以及生成的平滑区域使得主观复原图像中仍然存在严重失真.
近几年,凭借极强的学习能力,卷积神经网络(convolutional neural network,简称 CNN)在图像复原任务上取
得了众多令人满意的结果.受到稀疏编码的启发,Dong 等人 [14] 提出了 SRCNN 模型,首次将 CNN 应用于图像超
分辨率任务,获得了比传统方法更高的重建精度.此后,基于 CNN 的方法逐渐成为了图像复原领域的研究热点.
从第 1 个 SRCNN 模型到由 Zhang 等人 [15] 提出的 RCAN,网络的卷积层数由 3 层增加到 400 层.网络深度的增
加,带来了复原性能的显著提高.与此同时,很多新颖的 CNN 结构设计和训练技巧也被用来进一步提升复原的
性能.但这些方法的重建图像普遍存在过度平滑问题,尤其对于退化严重的图像,重建图像丢失了大量的结构和
纹理细节.为了解决该问题,很多方法 [16−19] 将生成对抗网络 [20] 用于图像复原任务,虽然可以生成更加逼真的纹
理结构,但通常在客观指标的评估上表现平平,无法与逼真的主观恢复结果相符.而且由于训练不稳定,给模型
性能的优化带来了很大困难.作为一种更好的解决办法,一些方法将小波变换与 CNN 结合 [21−23] ,简单且有效地
同时提高了客观评估和主观重建结果.小波变换的高频子带可以稀疏地表示图像的高频(如轮廓、纹理及边缘
等)细节,通过 CNN 学习到稀疏的高频信息,可以帮助更好地重建出图像的纹理细节.虽然小波变换在一维信号
处理中可以同时捕获信号全局和局部上的重要特征,但当处理二维图像时,小波变换却并不能提供最优的稀疏
表示 [24] ,各向同性等缺陷制约了其对图像的稀疏表示能力.
为了解决现有方法的问题,并进一步提升图像复原的性能,本文提出了一种结合级联密集型 CNN 结构和轮
廓波变换的图像复原方法.本文的贡献概括如下.
• 本文提出了一种级联的密集型卷积神经网络(cascading dense convolutional neural network,简称
CDCNN):将若干个密集块以级联方式组成主干结构,充分挖掘并利用不同层次上的图像特征.此外,每