Page 164 - 《武汉大学学报(信息科学版)》2025年第9期
P. 164

1892                            武 汉 大 学 学 报  (信 息 科 学 版)                        2025 年 9 月

                                                     post
                                               pre
                方式生成空间差分增强的特征 Fs i 和 Fs i ,整个                    外,建筑物损伤程度的评估还需要尽量充分地综
                过程为:                                             合各项线索,因此还依赖综合性更强的高级语义
                          pre′
                                                 sub
                                            pre
                       As i = σ ( Conv 3 × 3 ( [ As i ,As i ] ) )  (7)  特 征 ,以 应 对 评 估 任 务 的 复 杂 性 。 基 于 以 上 考
                         post′              post  sub
                       As i  = σ ( Conv 3 × 3 ( [ As i ,As i ] ) )  (8)  虑,使用全局-局部特征融合模块分别提取全局特
                             pre   pre    pre′   pre
                          Fs i = Fc i ⊗ As i + Fc i     (9)      征和局部特征并融合,以挖掘并协同全局和局部
                            post   post   post′  post  (10)      线索,同时将模块放置于解码器的深层,增强网
                         Fs i  = Fc i  ⊗ As i  + Fc i
                     最后,为了充分保持双时相特征中的原始信                         络的高级语义提取能力,以提升网络对更复杂、
                        pre    post  进行通道叠加,通过两个连续               模糊的伪变化情形的适应能力。在全局-局部特
                息,将 Fs i 和 Fs i
                的卷积层获得最终的融合特征,计算式为:                              征融合模块中,全局特征和局部特征分别通过选
                   inter                      pre  post  ] ) )  (11)  择 性 扫 描 块(selective scanning block,SSB)和 分
                  f i  = ReLU ( BN ( Conv 1 × 1 [ Fs i ,Fs i
                        fus                      inter  ) ) ) (12)
                       f i = ReLU ( BN ( Conv 3 × 3 ( f i        层多尺度卷积块(hierarchical multi-scale convolu⁃
                式中, BN 代表批归一化; ReLU 代表 ReLU 激活。                  tional block,HMCB)两个核心模块提取。
                通过 1×1 卷积充分交互双时相特征,获得中间特                         1.3.1 模块总体结构
                    inter  ∈ R  H i × W i × 2C i                     根据选择扫描块和分层多尺度卷积块的结
                征 f i            ,并通过 3×3 卷积进行维度压
                缩,最终输出融合特征 f i ∈ R         H i × W i × C i 。     合方式,全局-局部特征融合模块可分为全局-局
                                      fus
                1.3 全局-局部特征融合模块                                  部特征并联融合模块(GLFFM-H)和全局-局部
                     建筑物损伤程度的评估同时依赖全局和局                          特征串联融合模块(GLFFM-V)。对于最深层特
                                                                     fus
                部 线 索 ,全 局 线 索 主 要 指 建 筑 物 周 围 的 环 境 变           征 f 5 ,首先,通过 GLFFM-V 生成语义增强的最
                                                                                                        fus
                                                                           out
                化,包括建筑物周围大范围区域的地物类别和状                            深层特征 f 5 ,然后,GLFFM-H 利用 f i       out  与 f i ,以
                态 变 化 ;局 部 线 索 主 要 指 建 筑 物 本 身 的 外 观 变           全局和局部协同的方式提取语义信息。两个模
                化,如建筑物的结构破坏、顶面材料剥落等。此                            块的结构图如图 3 所示。















                                                   图 3 全局-局部特征融合模块
                                             Fig.  3 Global-Local Feature Fusion Module
                     GLFFM-V 设置在网络最深层,输入为 f i ,                  分别送入 SSB 和 HCMB 分支,获得全局特征 f i              G
                                                          fus
                                                                             L
                        out ∈ R  H i × W i × C i , i = 5。SSB 通过中间特征  和局部特征 f i ,两类特征分别通过线性层和 DW
                输出为 f i
                  mid ∈ R  H i × W i × C i  与 HMCB 串联,引入残差结构改    卷积层进行调整并相加,并引入残差连接结构。
                f i
                                                                 相加后的特征通过归一化层和线性层进行深度
                善梯度传播,并通过线性层和 DW 卷积增强模块
                                                                 融合,通过像素洗牌和线性层进行上采样和维度
                衔接。GLFFM-V 的计算过程为:
                                                                 变换,减少上采样过程中语义信息的损失并获得
                         mid                fus     fus
                       f i  = Lin ( SSB( LN ( f i ) ) )+ f i  (13)
                                                                 输出特征 f i - 1。GLFFM-H 的计算过程为:
                                                                           out
                  out                        mid     mid
                 f i  = DWConv( HMCB( LN ( f i  ) ) )+ f i   (14)              sq        fus  out
                                                                             f i = Lin ( [ f i ,f i  ] )  (15)
                式中, Lin 为线性层; DWConv 为 DW 卷积; LN 为                          G
                                                                                               sq
                                                                           f i = Lin ( SSB( LN ( f i ) ) )  (16)
                层归一化; SSB 为选择性扫描块; HMCB 为分层                              L
                                                                       f i = DWConv( HMCB( LN ( f i ) ) ) (17)
                                                                                                   sq
                多尺度卷积块。                                                                   G   L
                                                                  f i - 1 = Lin ( PS( Lin ( LN ( f i + f i ) )+ f i ) )  (18)
                                                                                                     sq
                                                                   out
                     GLFFM-H 的输入为 f i 和 f i ,输出为 f i - 1,
                                               out
                                         fus
                                                         out
                                                                 式中, PS 为像素洗牌操作。
                i ∈ { 4,5 }。 首 先 通 过 线 性 层 进 行 特 征 融 合 并 压       1.3.2 选择性扫描块
                缩,获得压缩特征 f i ∈ R       H i × W i × C i ,将 f i 归一化并   选择性扫描块的结构如图 4 所示,通过选择
                                  sq
                                                  sq
   159   160   161   162   163   164   165   166   167   168   169