Page 478 - 《软件学报》2024年第6期

3054 软件学报 2024 年第 35 卷第 6 期

设置高分辨 PrePass/
资源分配 Base Pass
率视图 Early Z Pass

设置低分辨 PrePass/
率视图 Early Z Pass Base Pass 光照计算

高清几何缓存

后处理 低清图像

高清图像 深度神经网络
图 1 融合本文提出的超分技术的实时渲染流程 (基于虚幻引擎)

Caballero
2 相关工作

2.1 基于单张图像的图像超分辨率
传统的图像超分辨率方法通常采用最近邻插值、双线性插值、双三次插值等经典算法. 这些算法虽然简单且
速度快, 但对图像视觉效果的改善程度有限, 通常很难恢复图像细节. 近些年来, 与基于传统方法相比, 基于深度学
习的解决方案在峰值信噪比 PSNR 等指标衡量与视觉感知方面都表现出更加优异的性能. 如 2014 年由 Dong 等
人进行超分重构时, 提出了低清图像插值放大和 CNN 补充内容细节的方法 [16] , 文中提出的 SRCNN 网络是深度学
习用在超分重建上的最早期的工作. EDSR 网络 [17] 是 NTIRE2017 超分辨率挑战赛的冠军方案, 该方案移除了残差
结构中一些不必要的结构, 对网络进行了精简, 同时提出了一种多尺度深度超分系统, 其在处理不同超分尺度的情
况下均有着较为优越的性能. RCAN 网络 [18] 则引入了注意力机制来区别对待不同通道的特征, 并提出了一种残差
中的残差 (residual in residual, RIR) 结构, 构建了一个很深的神经网络, 具有超过 400 个卷积层, 同时超分预测结果
出色. Ledig 等人 [19] 将 GAN 引入单个图像超分领域, 设计了 SRGAN 网络并使用新的损失函数进行训练, 以提升
预测结果的真实感. 丁玲等人在 SRGAN [19] 以及常用的 VGG [20] 重构损失框架上, 设计了 VGG 能量损失, 并构建
U-Net [21] 自编码结构 VGG-UAE 来缓解高分辨率图像输入下输出判别信号不稳定的问题 [22] . 潘宗序等人将全局字
典学习中利用图像库获取附加信息的思想融入自适应字典学习的过程中, 提出了一种基于自适应多字典学习的单
个图像的超分算法 [23] . 这些方法使用单张图像作为输入, 而单个低清图像本身包含信息有限, 从而无法恢复原图
像向低分辨率的退化过程中丢失的高频信息.
2.2 基于多张图像的图像超分辨率
相比于基于单个图像的超分方法, 多张图像的超分方法多应用于视频等领域, 其引入了时域信息, 并更多利用
相邻帧的时空相关性来提升结果性能. 一种常见的研究方向是采用运动补偿和运动估计技术. 其中运动估计可以
提取不同帧之间的运动信息, 而运动补偿则利用不同帧之间的运动信息进行图像扭曲, 从而使帧对齐. 例如
等人提出的 VESPCN [24] 将动作补偿和视频超分联合用以提升性能. NTIRE19 挑战赛冠军网络 EDVR [25]
提出了时空注意力融合模块与级联可变形的对齐模块. 相比于需要帧对齐的研究方法, 非对齐方法使网络模型自
己学习帧间的相关信息, 利用空间或时空信息进行特征提取与处理. 例如 DUF 网络 [2] 就避免了显式的运动补偿,
而是使用动态上采样滤波器对输入图像直接进行重构, 并通过残差部分来增加细节内容. Isobe 等人 [12] 提出一种新
的循环残差网络 (recurrent residual network, RRN) 来实现高效的视频超分. S-Lab 与南洋理工大学的研究人员给出
的 BasicVSR++ [15] 引入了二阶网格传播和光流引导可变形对齐, 成为了目前最先进的视频超分网络. 由 Yi 等人 [26]
提出 PFNL 网络则使用非局部残差块来提取时空特征信息, 取得了比使用运动补偿更好的实验结果. 相比此前的