Page 488 - 《软件学报》2024年第6期

3064 软件学报 2024 年第 35 卷第 6 期

供足够丰富的信息. 同时在主观感知层面我们比较了连接操作与网络中融合操作的预测结果, 对比示例如图 10 所
示. 在图 10 的第 1 行示例中, 我们可以看到左边开关的下方存在高光反射, 将连接作为融合操作的模型无法将其
进行还原, 使得红色的阀门开关呈现出了不自然的黄色, 将相加作为融合操作的模型能进行一定程度的还原, 但亮
度偏低. 类似的, 第 2 行示例中连接和相加结果预测草叶会有不自然的高光, 而第 3 行示例中树木产生的阴影区域
更为广泛, 而连接操作和相加操作产生的阴影较小. 这两行示例反映出简单的连接或相加操作无法有效区分几何
缓存与内容图像的特征作用, 从而过于依赖几何缓存的细节特征, 但几何缓存中不含阴影, 高光等这些信息, 因此
其产生的结果在这些部分与真值内容差异较大. 而我们的融合操作对几何缓存特征进行注意力区分, 并利用其对
内容图像特征中的无效信息进行定位和修正, 从而预测得到更为合理的超分结果.

(a) Add (b) Concat 28.01
(d) GT
(c) Ours
图 10 不同场景下各融合操作的视觉结果对比

4.4.2 几何缓存种类
为了研究在模型学习过程中提供的几何缓存的作用, 我们在网络输入分别移除了不同的几何缓存 (几何缓存
种类见第 3.1 节), 并相应调整了几何缓存对应“浅层特征提取”部分中最后一层卷积的输出通道数, 使几何缓存与
内容图像的特征通道数仍相等. 我们在 Bunker 数据集上重新训练和测试了网络模型, 测试产生的性能指标对比见
表 4. 其中, –bc, –wn, –sd, –r, –m 分别表示移除底色, 法向, 场景深度, 粗糙度和金属色. 超分规模均为 4×4.

表 4 Bunker 场景下移除各几何缓存的性能指标对比

指标 –bc –wn –sd –m –r ours
PSNR (dB) 27.91 27.43 28.19 28.13 28.42
SSIM 0.877 8 0.874 8 0.897 4 0.901 3 0.894 8 0.904 1

从表 4 的数据结果中可以看出, 我们的网络模型将包含底色, 法向, 场景深度, 金属色, 粗糙度的几何缓存作为
输入, 作为训练时损失函数一部分的 SSIM 指标达到了 0.904 1. 而在移除场景深度后, 指标下降到 0.897 4. 类似地,
移除单通道的粗糙度或金属色后, PSNR 指标均下降了 0.2 dB 左右. 移除底色与法向的模型在 SSIM 的度量指标
下降较多, 这是由于这两种几何缓存均为三通道数, 移除后减少的信息量多于其他一通道数的几何缓存. 同时移除
法向的模型在 PSNR 和 SSIM 指标的结果数值上下降最多, 对此一种合理的解释是, 一方面是法向本身存储的信
息会影响光线在物体表面反射与折射的结果, 从而在学习过程中移除法向会导致模型对高光反射等一些区域缺乏
有效信息并预测出较差的超分结果. 另一方面在于屏幕空间下法向的像素间变化明显, 更容易检测出边缘与角点,