Page 479 - 《软件学报》2024年第6期
P. 479

张浩南 等: 高清几何缓存多尺度特征融合的渲染超分方法                                                     3055


                 单张图像超分方法, 基于多张图像的超分辨率方法表现出更强的性能潜力, 但也在时序信息的提取与处理上花费
                 更多, 使得网络结构更复杂, 增加了推理时间, 不适用于实时渲染场景下的低延迟要求.
                  2.3   基于几何缓存的图像重建
                    几何缓存是由渲染管道中的中间渲染过程生成的几何体和材质信息的屏幕空间表示形式, 在传统的渲染流程
                 中发挥着重要作用. 广义层面的几何缓存包含法线, 世界空间坐标, 深度等多种属性信息. Lu                          等人提出的    DMCR-
                 GAN  是一个具有残差注意力模块与分层特征调制的对抗网络, 通过调整对不同输入辅助缓存                            (auxiliary buffer) 的
                 注意力等实现了蒙特卡洛渲染的去噪工作               [27] . Nalbach  等人  [11] 收集渲染中产生的材质, 几何和光照信息来预测屏
                 幕空间中的照明效果. Chakravarty     等人  [28] 提出的用于重建使用蒙特卡罗方法渲染的图像序列的神经网络同样使
                 用了如深度, 法向等辅助缓存作为输入, 该网络在样本数量少的情况下仍有着合理的运行速度和结果表现. 2021
                 年  Guo  等人  [29] 提出的  ExtraNet 使用了反照率, 深度, 法向, 粗糙度, 金属度等几何缓存和历史帧来进行外推帧的预
                 测, 可以在没有明显伪影的条件下产生合理的外推帧结果, 并在实践中成功提升了帧率. 由                            Xiao  等人  [9] 提出的超
                 分神经网络    NSRR  以低清下的当前帧与历史帧的           RGB  图像, 深度图与运动矢量信息为输入, 通过特征提取, 后向
                 扭曲  (backward warping) 等步骤重建高分辨率的图像, 并获得了高保真度和时间稳定的结果. 杜文俊等人                      [30] 提出
                 了计算开销. 由于不涉及复杂的光照、阴影等相关计算, 因此几何缓存的生成成本相比直接渲染画面而言要低
                 通过存储的几何缓存和像素分类, 用基于几何辅助分析的反走样算法来精确重构出需要反走样的几何边界. 邵鹏
                 等人  [31] 提出的  IAAFXAA  算法可以从几何缓存中提取深度和法线信息并借助该信息进行更加精确的检测, 以提
                 高抗锯齿性能, 避免图像过度模糊. 以上方法在内容去噪、图像超分等领域用几何缓存进行辅助, 为本文的研究方
                 法提供了相关思路与借鉴.
                  3   基于高清几何缓存的渲染内容超分辨率

                  3.1   问题描述

                    在不开启多采样抗锯齿的情况下, 渲染器通过对                3D  场景下的所在位置进行点采样并计算形成每个像素. 因
                 此对渲染内容实现高质量的上采样面临的困难是, 低分辨率的输入图像在部分阴影, 几何边缘处等区域发生走样,
                 对应区域需要还原的高频信息完全丢失. 为了解决这一问题, 许多研究工作                        [4,5,9] 考虑使用时序上连续帧的冗余性
                 来提供更详细的信息来辅助内容重建, 例如              Xiao  等人的方法  [9] 使用了当前帧和历史帧的像素颜色, 深度图以及运
                 动矢量. 而在渲染帧的内插研究中, 也有使用光流来处理时序信息的工作                      [32] . 运动矢量虽然精确, 但是无法处理因
                 光照导致的光影变化       (如阴影和高光反射); 光流虽然理论上能处理各种运动效果, 但是精度较差, 而且需要额外的
                 运算代价. 此外, 无论是基于运动矢量的方法还是基于光流的方法, 都假设相邻连续帧之间变化幅度较小. 一旦相
                 邻帧之间出现剧烈变化        (如光源的剧烈闪烁变化), 则时序方法很容易产生问题.
                    几何缓存的概念来自延迟渲染            (deferred rendering), 其基本思想是先将三维场景中所有物体的几何信息写入
                 屏幕空间的缓冲区中, 等到计算光照并对屏幕空间下各像素着色时, 再将这些信息取出来用于计算. 几何缓存则是
                 指存储这些信息的容器, 一般包含像素对应的位置、法线、漫反射颜色、高光颜色等数据. 几何缓存的生成本质
                 上是对物体执行无光照材质的渲染, 并将各物体的相关信息写入对应的渲染纹理中, 该过程由几何通道                                 (geometry
                 pass) 负责, 而在后续的光照通道      (lighting pass) 中, 几何缓存中的物体的几何信息会被来执行光照计算, 从而对每
                 个像素进行着色. 几何缓存使得每个光源只需要处理固定大小的缓冲区, 而不受场景中物体数量的限制, 有效降低


                 很多.
                    经过以上分析, 我们考虑在单个帧内容图像的基础上, 尽可能使用额外的几何缓存来帮助特征提取和图像重
                 建. 在本次研究工作中, 除了低分辨率的内容图像, 我们选择了共                   9  个通道的  5  种几何缓存   (如图  2  所示) 来帮助
                 超分过程中的内容重建, 包括:
                    (1) 底色  (base color), 共有  3  个通道, 定义了材质的整体颜色. 底色是用来记录颜色信息的材质贴图, 它记录剔
                 除光影变化后的基础颜色, 将其作为输入能帮助网络确定预测图像中材质表面所在像素的基准色调.
   474   475   476   477   478   479   480   481   482   483   484