Page 481 - 《软件学报》2024年第6期

张浩南 等: 高清几何缓存多尺度特征融合的渲染超分方法 3057

3.2.1 特征提取
为了捕获内容图像与几何缓存中的细节与空间信息, 我们需要对输入进行低层次的特征提取, 并完成对低清
I LR 和I G 中提取浅层特征
图像特征的上采样, 以便让两种特征在同一分辨率空间下完成后续操作. 首先我们分别从
F LR,0 和F G,0 :
 LR
F LR,0 = H UP (H (I LR ))
 SF ,
 G

F G,0 = H (I G )
SF
H UP 为零上采样操作 [9] , 用于将低分辨率内容特征上采样至所需的高分辨率空间. 零上采样将图像中每个像
其中,
素分配到高分辨率下对应的 s 个像素中的固定一处, 而剩下 s−1 个像素会被置为 0, 其中 s 为上采样比值. 用 h,w
分别表示低分辨率图像的高和宽, I ∈ R h×w , O = H UP (I) ∈ R (sh)×(sw) 分别表示该方法的输入图像与输出图像, 则两者内
像素映射关系为:

 I(y/s, x/s), s|x∧ s|y


O(y, x) =  ,

 0, otherwise
(y, x) ∈ {0,1,..., sh−2, sh−1}×{0,1,..., sw−2, sw−1} . 注意以上公式的输入输出均为单通道图像, 面向多通
其中,
道特征时同样适用, 只需对各通道逐一操作. 零上采样操作考虑将低清空间下各像素映射到高清空间下某一位置,
其余位置可以视为“未被着色”的空像素, 这提升网络针对这些有效或无效信息的辨别能力, 并在后续融合操作中
利用几何缓存特征与有效原像素对这些无效信息进行填充着色, 从而提升了模型预测图像的保真度.
LR
H ,H G 各自包含 3 个卷积-ReLU 激活操作与连接操作. 浅层特征提取模块的更多细节如图 4 所示, 该部分
SF SF
中卷积核大小为 3×3, C in ,C out 的取值根据情况讨论. 针对 I LR ,I G 的两个模块结构基本一致, 但在最后一次卷积的输
出通道数有差别. 为满足后续的融合操作, 从内容图像与几何缓存提取出的浅层特征通道数必须相等, 而前者输入
为 3 通道, 后者输入为 9 通道, 所以在进行最后一次卷积时, 针对内容图像的卷积输出通道为 15, 而针对几何缓存
的卷积输出通道为 9. 经过 3 层卷积-ReLU 激活的结果与输入本身连接, 并得到 18 通道的浅层特征.

浅层特征 F LR, i
F FU, i
(H×W×2C)
F G, i
18 Concat
+ Concat 2C Global
Pooling
C out Conv&ReLU
BN FC Layer
C Conv 3×3
ReLU
32 Conv&ReLU
ReLU
BN FC Layer
C
32 Conv&ReLU Conv 1×1
Sigmoid
2C Concat SE C
Input Scale
C in
F G, i
A
I LR /I G (H×W×C) F G, i
(H×W×C)
(a) 浅层特征提取 (b) 融合模块
图 4 浅层特征 (shallow features) 提取模块结构与融合模块

在后续步骤中我们参考了 U-Net [21] 的设计思想, 采用不同层次的编码-解码操作来对高清图像进行重建. 第 i
层次的编码器部分对应输入为 F LR,i−1 /F G,i−1 , 通过该层次编码器得到输出 F LR,i /F G,i :
 LR
F LR,i = H (F LR,i−1 )
 EN,i
 G ,
 F G,i = H (F G,i−1 )
EN,i
LR
其中, H EN,i ,H G EN,i 分别表示第 i 层次中针对内容图像特征和几何缓存的编码器, 每个编码器内包含 2 个卷积-ReLU