Page 116 - 《武汉大学学报(信息科学版)》2025年第9期
P. 116

1844                            武 汉 大 学 学 报  (信 息 科 学 版)                        2025 年 9 月

                          表 2 5 种归一化方法的分类精度                      但对 BABN 来说影响却较小,分类精度从 0.926 8
                       Table 2 Classification Accuracy of Five   下 降 到 0.878 0,仍 然 保 持 较 高 的 分 类 精 度 ;而
                              Normalization Methods
                                                                 GN、IN 和 LN 方法均有不同程度的下降,虽然下
                  参数      BN     GN      IN     LN    BABN
                                                                 降幅度不大,但最终的分类精度都低于 BABN 方
                  精度    0.870 4  0.854 3  0.810 2  0.869 9  0.926 8
                                                                 法 BS 为 2 时的 0.878 0。
                 标准差    0.001 9  0.001 2  0.000 8  0.000 9  0.000 7
                   Δ      —    −0.016 1 −0.060 2 −0.000 5  0.056 4  2.3.3 不同的网络骨架对归一化方法的影响
                                                                     为了进一步验证 BABN 方法的有效性,将不
                     由表 2 可以看出,BABN 方法的精度最高,标                    同 的 网 络 骨 架 进 行 替 换 ,其 他 实 验 参 数 保 持 不
                准差最小,且 BABN 较 BN 方法的 Top1 测试分类                   变,比较在不同网络骨架下 BN 与 BABN 在 NW ⁃
                精度高 5.64%,验证了 BABN 方法的有效性。借                      PU-RESISC45 数据集上 Top1 的测试分类精度。
                助贝叶斯理论,将总体信息、样本信息和先验信
                                                                 设置 BS 为 4,实验结果见表 4,其中 BABN−BN
                息三者科学合理融合,可以更加准确地估计样本
                                                                 表示两种方法的精度差值。
                均值和方差,使得归一化后的特征落入最佳的非
                饱和区域,从而更好地反映整个特征空间的原始                                 表 4 不同网络骨架下的分类精度(BS 为 4)
                表征,进而深度学习模型可以达到最佳的特征表                              Table 4 Comparison of Classification Accuracy with
                达能力。此外,其他归一化方法不同程度地将不                                       Different Backbones(BS Is 4)
                同维度的信息强制融合在一起,表面上增加了样                                                   Movile-  Incep-  Dense-
                                                                    方法    ResNet18 VGG16
                                                                                        Net-v3  tion-v3  Net-121
                本的容量,实际上在一定程度上也增加了不同维
                                                                    BN     0.837 1  0.799 1  0.852 3  0.804 3  0.796 1
                度信息之间的不一致性,这对样本均值和方差的
                                                                   BABN    0.888 0  0.848 3  0.895 7  0.858 6  0.839 9
                估计精度造成不同程度的影响。当批次的样本
                                                                 BABN−BN 0.050 9  0.049 2  0.043 4  0.054 3  0.043 8
                容量较大时,LN 方法受到的影响相对较小,IN 方
                法受到的影响相对较大,而 GN 方法介于 LN 和                            由表 4 可以看出,BABN 优于 BN 方法,分类
                IN 方法之间,该实验结果与理论层面是一致的。                          精度平均提高了 5% 左右。当 BS 为相对较小值,
                2.3.2 批次 BS 对不同归一化方法的影响
                                                                 如 BS 为 4 时,所携带的信息也相对有限,通过利
                     BN 方法的性能主要依赖于 BS,当 BS 较小
                                                                 用总体信息和先验信息来弥补 BS 较小时所携带
                时,BN 方法的性能会急剧下降,而 BABN 方法在
                                                                 样本信息的不足,便可以更加准确和鲁棒地估计
                理论上克服了 BS 较小的问题。为了分析不同的
                                                                 样本均值和方差,从而更好地表征与学习特征,
                样本容量对不同归一化方法性能的影响,在 NW ⁃
                                                                 进 而 提 高 Top1 测 试 的 分 类 精 度 。 实 验 结 果 表
                PU-RESISC45 数据集上将批次的样本容量分别
                                                                 明,BABN 方法对不同的网络架构都有显著的提
                设置为 2、4、8、16、32,5 种归一化方法在不同批次
                                                                 升效果。
                样本容量下的分类精度见表 3,该精度是最后 10
                                                                 2.3.4 不同归一化方法在不同数据集上的差异
                次随机实验结果的平均值。
                                                                     为了进一步验证 BABN 方法的有效性,对其
                 表 3 5 种归一化方法在不同批次样本容量下的分类精度                     在不同的数据集上进行了实验与分析,具体的实
                  Table 3 Classification Accuracy of Five Normalization
                                                                 验结果见表 5,其中 BS 为 2。由表 5 可知,BABN
                         Methods with Different Batch Sizes
                                                                 在 5 个不同类型的数据集中分类精度最优。
                                         BS
                  方法
                           32     16      8      4      2         表 5 不同数据集的归一化方法的分类精度(BS 为 2)
                  BABN   0.926 8  0.908 7  0.898 5  0.888 0  0.878 0  Table 5 Comparison of Classification Accuracy on
                   BN    0.870 4  0.885 7  0.873 2  0.837 0  0.681 7
                                                                             Different Datasets(BS Is 2)
                   GN    0.854 3  0.875 0  0.869 2  0.820 2  0.799 3
                                                                                       NWPU-   Mini-Ima⁃
                   IN    0.810 2  0.861 6  0.868 3  0.872 2  0.813 0  方法  AID  EuroSAT                 SAT-6
                                                                                      RESISC45  geNet
                   LN    0.869 9  0.879 6  0.869 4  0.815 5  0.774 5
                                                                  BABN  0.938 7  0.973 5  0.878 0  0.886 9  0.990 7
                                                                   BN   0.732 1  0.676 7  0.681 7  0.489 5  0.421 3
                     由表 3 可以看出,当 BS 为 32 时,BN 方法的                  GN   0.857 7  0.926 5  0.799 3  0.494 9  0.976 2
                精度较高。随着 BS 由 32 逐渐减少至 2 时,BN 方                     IN   0.865 1  0.942 1  0.813 0  0.505 8  0.934 5
                法的分类精度从原来的 0.870 4 下降到 0.681 7;                    LN   0.793 3  0.922 2  0.774 5  0.455 8  0.977 2
   111   112   113   114   115   116   117   118   119   120   121