Page 164 - 《武汉大学学报(信息科学版)》2025年第9期
P. 164
1892 武 汉 大 学 学 报 (信 息 科 学 版) 2025 年 9 月
post
pre
方式生成空间差分增强的特征 Fs i 和 Fs i ,整个 外,建筑物损伤程度的评估还需要尽量充分地综
过程为: 合各项线索,因此还依赖综合性更强的高级语义
pre′
sub
pre
As i = σ ( Conv 3 × 3 ( [ As i ,As i ] ) ) (7) 特 征 ,以 应 对 评 估 任 务 的 复 杂 性 。 基 于 以 上 考
post′ post sub
As i = σ ( Conv 3 × 3 ( [ As i ,As i ] ) ) (8) 虑,使用全局-局部特征融合模块分别提取全局特
pre pre pre′ pre
Fs i = Fc i ⊗ As i + Fc i (9) 征和局部特征并融合,以挖掘并协同全局和局部
post post post′ post (10) 线索,同时将模块放置于解码器的深层,增强网
Fs i = Fc i ⊗ As i + Fc i
最后,为了充分保持双时相特征中的原始信 络的高级语义提取能力,以提升网络对更复杂、
pre post 进行通道叠加,通过两个连续 模糊的伪变化情形的适应能力。在全局-局部特
息,将 Fs i 和 Fs i
的卷积层获得最终的融合特征,计算式为: 征融合模块中,全局特征和局部特征分别通过选
inter pre post ] ) ) (11) 择 性 扫 描 块(selective scanning block,SSB)和 分
f i = ReLU ( BN ( Conv 1 × 1 [ Fs i ,Fs i
fus inter ) ) ) (12)
f i = ReLU ( BN ( Conv 3 × 3 ( f i 层多尺度卷积块(hierarchical multi-scale convolu⁃
式中, BN 代表批归一化; ReLU 代表 ReLU 激活。 tional block,HMCB)两个核心模块提取。
通过 1×1 卷积充分交互双时相特征,获得中间特 1.3.1 模块总体结构
inter ∈ R H i × W i × 2C i 根据选择扫描块和分层多尺度卷积块的结
征 f i ,并通过 3×3 卷积进行维度压
缩,最终输出融合特征 f i ∈ R H i × W i × C i 。 合方式,全局-局部特征融合模块可分为全局-局
fus
1.3 全局-局部特征融合模块 部特征并联融合模块(GLFFM-H)和全局-局部
建筑物损伤程度的评估同时依赖全局和局 特征串联融合模块(GLFFM-V)。对于最深层特
fus
部 线 索 ,全 局 线 索 主 要 指 建 筑 物 周 围 的 环 境 变 征 f 5 ,首先,通过 GLFFM-V 生成语义增强的最
fus
out
化,包括建筑物周围大范围区域的地物类别和状 深层特征 f 5 ,然后,GLFFM-H 利用 f i out 与 f i ,以
态 变 化 ;局 部 线 索 主 要 指 建 筑 物 本 身 的 外 观 变 全局和局部协同的方式提取语义信息。两个模
化,如建筑物的结构破坏、顶面材料剥落等。此 块的结构图如图 3 所示。
图 3 全局-局部特征融合模块
Fig. 3 Global-Local Feature Fusion Module
GLFFM-V 设置在网络最深层,输入为 f i , 分别送入 SSB 和 HCMB 分支,获得全局特征 f i G
fus
L
out ∈ R H i × W i × C i , i = 5。SSB 通过中间特征 和局部特征 f i ,两类特征分别通过线性层和 DW
输出为 f i
mid ∈ R H i × W i × C i 与 HMCB 串联,引入残差结构改 卷积层进行调整并相加,并引入残差连接结构。
f i
相加后的特征通过归一化层和线性层进行深度
善梯度传播,并通过线性层和 DW 卷积增强模块
融合,通过像素洗牌和线性层进行上采样和维度
衔接。GLFFM-V 的计算过程为:
变换,减少上采样过程中语义信息的损失并获得
mid fus fus
f i = Lin ( SSB( LN ( f i ) ) )+ f i (13)
输出特征 f i - 1。GLFFM-H 的计算过程为:
out
out mid mid
f i = DWConv( HMCB( LN ( f i ) ) )+ f i (14) sq fus out
f i = Lin ( [ f i ,f i ] ) (15)
式中, Lin 为线性层; DWConv 为 DW 卷积; LN 为 G
sq
f i = Lin ( SSB( LN ( f i ) ) ) (16)
层归一化; SSB 为选择性扫描块; HMCB 为分层 L
f i = DWConv( HMCB( LN ( f i ) ) ) (17)
sq
多尺度卷积块。 G L
f i - 1 = Lin ( PS( Lin ( LN ( f i + f i ) )+ f i ) ) (18)
sq
out
GLFFM-H 的输入为 f i 和 f i ,输出为 f i - 1,
out
fus
out
式中, PS 为像素洗牌操作。
i ∈ { 4,5 }。 首 先 通 过 线 性 层 进 行 特 征 融 合 并 压 1.3.2 选择性扫描块
缩,获得压缩特征 f i ∈ R H i × W i × C i ,将 f i 归一化并 选择性扫描块的结构如图 4 所示,通过选择
sq
sq

