Page 477 - 《软件学报》2024年第6期

张浩南 等: 高清几何缓存多尺度特征融合的渲染超分方法 3053

module. Experiments demonstrate the effectiveness of the proposed fusion strategy and module, and the proposed method shows obvious
advantages, especially in maintaining high-resolution details, when compared with other image super-resolution methods.
Key words: neural network; rendering; image super-resolution; geometry buffer; feature fusion

1 绪 论

在 3D 游戏、特效影视等场景下人们对高清图像和逼真视觉体验的需求日益增长, 这对渲染技术和显示设备
带来了巨大的挑战. 为降低渲染的性能开销, 同时保证高画质, 越来越多的工作提出通过低分辨率图像渲染和上采
样到高分辨率的方法来满足性能需求. 随着以深度学习为代表的人工智能技术在各领域的广泛应用, 利用深度神
经网络等机器学习技术来完成渲染超采样或图像超分过程成为一种新的趋势 [1−3] . 同时工业界也对相关技术进行
开发与探索, 如虚幻引擎的 TAAU (temporal anti-aliasing upsample) 和 NVIDIA 的 DLSS (deep learning super
[4]
[5]
sampling) . 除此以外, 其他一些用于改善渲染的超采样方法与技术 [6−8] 致力于平衡渲染时间开销与画面效果两者
的关系, 在低成本的条件下尽可能提升图像质量.
综上所述, 我们的贡献如下.
目前大部分渲染引擎在工作流程中可以生成携带逐像素属性的几何缓存 (geometry buffer, G-buffer), 这是一
般视频流图像中无法获得的额外信息. 即使在高分辨率下, 几何缓存的计算成本仍然较低 (通常一帧仅几毫秒). 这
种特性使其相比需要繁重工作负载的着色、后处理等环节有了独特的性能优势. 近年来许多研究方法 [9−11] 将含有
逐像素属性的几何缓存等额外信息用于渲染去噪, 图像重建等工作. 受这些工作启发, 我们采用高分辨率几何缓存
来指导低分辨率图像的超分工作, 能有效提高结果图像的逼真度. 即便如此, 如果将逐像素属性的几何缓存以连接
或相加的简单方式作为辅助, 这样做容易让预测过程对不同信息产生混淆并使得神经网络在维度和空间区域上学
习到错误的知识, 例如过度依赖几何缓存中的特征, 并在相应区域生成错误的像素值, 最终形成伪影等视觉错误.
因此, 针对两者分别提取出的特征处理方式会成为影响结果表现的重要因素. 合适的特征融合方式可以帮助神经
网络更好地处理图像特征与几何缓存特征的关系, 使得模型能更好地区分不同特征信息的重要性并加以利用. 针
对图像超分过程, 我们使用几何缓存时需要剔除无效信息并选择有效信息, 从而填补低清图像中的缺失内容并有
效提高网络预测结果的质量.
综上分析, 为平衡渲染过程中的资源消耗与图像画质, 我们在几何缓存额外信息的辅助下为渲染内容设计一
种图像超分技术, 使得低分辨率图像可以通过神经网络在给定超分比例下预测得到高保真度的高清图像, 从而降
低渲染高清图像的时间开销. 加入我们方法的具体渲染管线见图 1, 我们先在输出的高分辨率下生成深度、法向
等几何缓存, 再设置为低分辨率并进行常规渲染, 利用生成的低清图像和高清几何缓存进行网络推理, 得到的高清
图像可以进行抗锯齿等后处理操作. 为了保证预测图像的质量, 我们给出了一种针对高清缓存与低清图像的特征
信息的融合策略, 该策略利用我们设计的融合模块对两种特征信息进行不同尺度上的融合, 对高分辨率几何缓存
中提取的特征进行调整与辨别, 在保证光照, 阴影等画面效果尽可能不被几何缓存信息错误重建的条件下, 选取其
中对超分过程有辅助作用的信息对低清图像提取的特征进行合理的填充修复, 从而提升图像超分的质量. 在一些
需要大量计算 (例如, 开启实时光线追踪) 场景下, 相对于传统渲染流程, 使用我们的方法辅助渲染可以省去昂贵
的高清帧渲染代价. 同时, 相比于如视频内插等其他需要相邻帧或运动信息的超分方法 [12−15] , 我们的方法仅依赖当
前帧的相关信息, 这样做有利于处理如光源闪烁变化等画面剧烈变化的情况, 从而提升画面预测的鲁棒性.

(1) 设计了一种针对渲染内容的超分神经网络, 利用低分辨率图像和高分辨率的几何缓存来执行渲染图像超
分任务, 能够在保证高清画质的前提下显著提升渲染高分辨图像的性能, 满足实时图形应用的需求.
(2) 提出一种针对高清几何缓存和低清渲染图像的多尺度特征融合方案, 使得几何缓存特征与内容图像特征
在不同尺度上实现多次融合, 从而有效利用高清几何缓存中的关键信息补充低清渲染图像中确实的内容细节.
(3) 相对于之前的超分工作, 我们的方法不需要历史帧和相关运动信息, 从而可以处理任意剧烈变化的场景
(如场景中光源的闪烁变化) 且无论在视觉感知和图像质量的定量分析方面均显著提升.