Page 490 - 《软件学报》2024年第6期

3066 软件学报 2024 年第 35 卷第 6 期

(a) GT

(c) Input (d) GT (e) Ours

(b) Ours
图 12 网络模型预测错误的示例

5.2 总结与展望
Epic Games. 2022. https://www.unrealengine.com/.UnrealEngine
本文提出了一种对渲染图像进行超分的新方法. 该方法不依赖历史帧和相关运动信息, 而是利用渲染器的高
分辨率的几何缓存来帮助填充上采样过程中的细节信息. 我们在网络结构中引入了一种新的特征融合机制, 在重
建网络中使用层次化的融合模块来增强几何缓存特征对图像特征的内容补充效果. 同时大量实验结果证明, 对比
于其他现有的图像和视频超分方法, 我们的工作能在不同场景下都展现出更好的超分结果. 相比于传统的渲染器
工作流程, 在一些需要大量计算的场景下使用我们的超分方法辅助渲染帧, 可以在保证渲染内容画质的前提下提
高渲染效率, 增强画面流畅性.
本文提出的研究方法在运行时间上仍存在一定的优化空间, 可以通过 cuDNN [42] 等硬件优化与网络量化等软
件工程方法来改进模型结构与运行过程, 从而更好地提升网络性能. 并且我们的工作基于空间上的分辨率大小进
行渲染过程改良, 可以与诸如帧内外插值等技术相结合, 在时间和空间上对渲染内容进行超采样研究, 进一步提升
渲染环境的运行帧率. 部署在手机等移动设备上的渲染管线通常与电脑端有着不同的架构与工作流程, 因此将当
前工作推广到不同设备的渲染平台与相关的优化手段是我们之后需要研究的方向. 提升不同场景间模型学习的泛
化性同样是一个有趣的未来话题. 我们相信, 在我们的方法中提出的融合策略与高质量结果能为之后的渲染图像
超分工作提供更多帮助与借鉴.

References:
[1] Kaplanyan AS, Sochenov A, Leimkühler T, Okunev M, Goodall T, Rufo G. DeepFovea: Neural reconstruction for foveated rendering and
video compression using learned statistics of natural videos. ACM Trans. on Graphics, 2019, 38(6): 212. [doi: 10.1145/3355089.3356557]
[2] Jo Y, Oh SW, Kang J, Kim SJ. Deep video super-resolution network using dynamic upsampling filters without explicit motion
compensation. In: Proc. of the 2018 IEEE/CVF Conf. on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018.
3224–3232. [doi: 10.1109/CVPR.2018.00340]
[3] Dong C, Loy CC, Tang XO. Accelerating the super-resolution convolutional neural network. In: Proc. of the 14th European Conf. on
Computer Vision. Amsterdam: Springer, 2016. 391–407. [doi: 10.1007/978-3-319-46475-6_25]
[4]
[5] Burnes A. NVIDIA DLSS 2.0: A big leap in AI rendering. 2020. https://www.nvidia.com/en-us/geforce/news/nvidia-dlss-2-0-a-big-leap-
in-ai-rendering/.NVIDIA
[6] DirectX-Specs, Variable Rate Shading. 2022. https://microsoft.github.io/DirectX-Specs/d3d/VariableRateShading.html.Microsoft
[7] Xiao K, Liktor G, Vaidyanathan K. Coarse pixel shading with temporal supersampling. In: Proc. of the 2018 ACM SIGGRAPH Symp. on
Interactive 3D Graphics and Games. Montreal: ACM, 2018. [doi: 10.1145/3190834.3190850]
[8] Sakai H, Nabata K, Yasuaki S, Iwasaki K. Error estimation for many-light rendering with supersampling. In: Proc. of the 2018
SIGGRAPH Asia Technical Briefs. Tokyo: ACM, 2018. [doi: 10.1145/3283254.3283264]
[9] Xiao L, Nouri S, Chapman M, Fix A, Lanman D, Kaplanyan A. Neural supersampling for real-time rendering. ACM Trans. on Graphics,
2020, 39(4): 142:1–142:12. [doi: 10.1145/3386569.3392376]
[10] Kalantari NK, Bako S, Sen P. A machine learning approach for filtering Monte Carlo noise. ACM Trans. on Graphics, 2015, 34(4):