Page 333 - 《软件学报》2021年第11期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2021,32(11):3659−3668 [doi: 10.13328/j.cnki.jos.006053] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

∗
使用 VGG 能量损失的单图像超分辨率重建

1,2
1
1
丁 玲 , 丁世飞 , 张 健 , 张子晨 1
1
(中国矿业大学 计算机科学与技术学院,江苏 徐州 221116)
2
(中国矿业大学 徐海学院,江苏 徐州 221008)
通讯作者: 丁世飞, E-mail: dingsf@cumt.edu.cn; 张健, E-mail: 597409675@qq.com

摘 要: 单幅图像的超分辨率重建(single image super-resolution,简称 SR)是一项重要的图像合成任务.目前,在基
于神经网络的 SR 任务中,常用的损失函数包括基于内容的重构损失和基于生成对抗网络(generative adversarial
network,简称 GAN)的对抗损失.但是,基于传统的 GAN 的超分辨率重建模型(SRGAN)在判别器接收高分辨率图像
作为输入时,输出判别信号不稳定.为了缓解这个问题,在 SRGAN 以及常用的 VGG 重构损失框架上,设计了一个稳
定的基于能量的辅助对抗损失,称为 VGG 能量损失.该能量损失使用重构损失中的 VGG 编码部分,针对 VGG 编码
设计相应的解码器,构建一个 U-Net 自编码结构 VGG-UAE,利用 VGG-UAE 的重构损失表示能量,并使用该能量函
数为生成器提供梯度;基于追踪能量函数的思想,VGG-UAE 使生成器生成的高分辨率样本追踪真实数据的能量流.
实验部分验证了使用 VGG 能量损失将比使用传统的 GAN 损失可以生成更有效的高分辨率图像.
关键词: 单图像超分辨率重建;生成对抗网络;能量函数;自动编码器
中图法分类号: TP391

中文引用格式:丁玲,丁世飞,张健,张子晨.使用 VGG 能量损失的单图像超分辨率重建.软件学报,2021,32(11):3659−3668.
http://www.jos.org.cn/1000-9825/6053.htm
英文引用格式: Ding L, Ding SF, Zhang J, Zhang ZC. Single image super-resolution reconstruction based on VGG energy loss.
Ruan Jian Xue Bao/Journal of Software, 2021,32(11):3659−3668 (in Chinese). http://www.jos.org.cn/1000-9825/6053.htm

Single Image Super-Resolution Reconstruction Based on VGG Energy Loss
1,2
1
1
DING Ling , DING Shi-Fei , ZHANG Jian , ZHANG Zi-Chen 1
1 (School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China)
2 (Xuhai College, China University of Mining and Technology, Xuzhou 221008, China)
Abstract: Single image super-resolution (SR) is an important task in image synthesis. Based on neural nets, the loss function in the SR
task commonly contains a content-based reconstruction loss and a generative adversarial network (GAN) based regularization loss.
However, due to the instability of GAN training, the generated discriminative signal of a high-resolution image from the GAN loss is not
stable in the SRGAN model. In order to alleviate this problem, based on the commonly used VGG reconstruction loss, this study designs a
stable energy-based regularization loss, which is called VGG energy loss. The proposed VGG energy loss in this study uses the VGG
encoder in the reconstruction loss as an encoder, and designs the corresponding decoder to build a VGG-U-Net auto encoder: VGG-UAE;
by using the VGG-UAE as the energy function, which can provide gradients for the generator, the generated high-resolution samples track
the energy flow of real data. Experiments verify that a generative model using the proposed VGG energy loss can generate more effective
high-resolution images.
Key words: single image super-resolution reconstruction; generative adversarial net; energy function; auto encoder

随着深度神经网络的研究,许多计算机视觉任务取得了突破性的进展 [1−5] .其中,单幅图像的超分辨率重建

∗ 基金项目: 国家自然科学基金(61976216, 61672522)
Foundation item: National Natural Science Foundation of China (61976216, 61672522)
收稿时间: 2020-01-15; 修改时间: 2020-03-09; 采用时间: 2020-04-07