Page 116 - 《武汉大学学报(信息科学版)》2025年第9期
P. 116
1844 武 汉 大 学 学 报 (信 息 科 学 版) 2025 年 9 月
表 2 5 种归一化方法的分类精度 但对 BABN 来说影响却较小,分类精度从 0.926 8
Table 2 Classification Accuracy of Five 下 降 到 0.878 0,仍 然 保 持 较 高 的 分 类 精 度 ;而
Normalization Methods
GN、IN 和 LN 方法均有不同程度的下降,虽然下
参数 BN GN IN LN BABN
降幅度不大,但最终的分类精度都低于 BABN 方
精度 0.870 4 0.854 3 0.810 2 0.869 9 0.926 8
法 BS 为 2 时的 0.878 0。
标准差 0.001 9 0.001 2 0.000 8 0.000 9 0.000 7
Δ — −0.016 1 −0.060 2 −0.000 5 0.056 4 2.3.3 不同的网络骨架对归一化方法的影响
为了进一步验证 BABN 方法的有效性,将不
由表 2 可以看出,BABN 方法的精度最高,标 同 的 网 络 骨 架 进 行 替 换 ,其 他 实 验 参 数 保 持 不
准差最小,且 BABN 较 BN 方法的 Top1 测试分类 变,比较在不同网络骨架下 BN 与 BABN 在 NW ⁃
精度高 5.64%,验证了 BABN 方法的有效性。借 PU-RESISC45 数据集上 Top1 的测试分类精度。
助贝叶斯理论,将总体信息、样本信息和先验信
设置 BS 为 4,实验结果见表 4,其中 BABN−BN
息三者科学合理融合,可以更加准确地估计样本
表示两种方法的精度差值。
均值和方差,使得归一化后的特征落入最佳的非
饱和区域,从而更好地反映整个特征空间的原始 表 4 不同网络骨架下的分类精度(BS 为 4)
表征,进而深度学习模型可以达到最佳的特征表 Table 4 Comparison of Classification Accuracy with
达能力。此外,其他归一化方法不同程度地将不 Different Backbones(BS Is 4)
同维度的信息强制融合在一起,表面上增加了样 Movile- Incep- Dense-
方法 ResNet18 VGG16
Net-v3 tion-v3 Net-121
本的容量,实际上在一定程度上也增加了不同维
BN 0.837 1 0.799 1 0.852 3 0.804 3 0.796 1
度信息之间的不一致性,这对样本均值和方差的
BABN 0.888 0 0.848 3 0.895 7 0.858 6 0.839 9
估计精度造成不同程度的影响。当批次的样本
BABN−BN 0.050 9 0.049 2 0.043 4 0.054 3 0.043 8
容量较大时,LN 方法受到的影响相对较小,IN 方
法受到的影响相对较大,而 GN 方法介于 LN 和 由表 4 可以看出,BABN 优于 BN 方法,分类
IN 方法之间,该实验结果与理论层面是一致的。 精度平均提高了 5% 左右。当 BS 为相对较小值,
2.3.2 批次 BS 对不同归一化方法的影响
如 BS 为 4 时,所携带的信息也相对有限,通过利
BN 方法的性能主要依赖于 BS,当 BS 较小
用总体信息和先验信息来弥补 BS 较小时所携带
时,BN 方法的性能会急剧下降,而 BABN 方法在
样本信息的不足,便可以更加准确和鲁棒地估计
理论上克服了 BS 较小的问题。为了分析不同的
样本均值和方差,从而更好地表征与学习特征,
样本容量对不同归一化方法性能的影响,在 NW ⁃
进 而 提 高 Top1 测 试 的 分 类 精 度 。 实 验 结 果 表
PU-RESISC45 数据集上将批次的样本容量分别
明,BABN 方法对不同的网络架构都有显著的提
设置为 2、4、8、16、32,5 种归一化方法在不同批次
升效果。
样本容量下的分类精度见表 3,该精度是最后 10
2.3.4 不同归一化方法在不同数据集上的差异
次随机实验结果的平均值。
为了进一步验证 BABN 方法的有效性,对其
表 3 5 种归一化方法在不同批次样本容量下的分类精度 在不同的数据集上进行了实验与分析,具体的实
Table 3 Classification Accuracy of Five Normalization
验结果见表 5,其中 BS 为 2。由表 5 可知,BABN
Methods with Different Batch Sizes
在 5 个不同类型的数据集中分类精度最优。
BS
方法
32 16 8 4 2 表 5 不同数据集的归一化方法的分类精度(BS 为 2)
BABN 0.926 8 0.908 7 0.898 5 0.888 0 0.878 0 Table 5 Comparison of Classification Accuracy on
BN 0.870 4 0.885 7 0.873 2 0.837 0 0.681 7
Different Datasets(BS Is 2)
GN 0.854 3 0.875 0 0.869 2 0.820 2 0.799 3
NWPU- Mini-Ima⁃
IN 0.810 2 0.861 6 0.868 3 0.872 2 0.813 0 方法 AID EuroSAT SAT-6
RESISC45 geNet
LN 0.869 9 0.879 6 0.869 4 0.815 5 0.774 5
BABN 0.938 7 0.973 5 0.878 0 0.886 9 0.990 7
BN 0.732 1 0.676 7 0.681 7 0.489 5 0.421 3
由表 3 可以看出,当 BS 为 32 时,BN 方法的 GN 0.857 7 0.926 5 0.799 3 0.494 9 0.976 2
精度较高。随着 BS 由 32 逐渐减少至 2 时,BN 方 IN 0.865 1 0.942 1 0.813 0 0.505 8 0.934 5
法的分类精度从原来的 0.870 4 下降到 0.681 7; LN 0.793 3 0.922 2 0.774 5 0.455 8 0.977 2

