Page 493 - 《软件学报》2025年第10期

4890 软件学报 2025 年第 36 卷第 10 期

4.7 和前沿方法的对比实验
我们的方法可以和不同的量化方法进行结合, 本节我们将我们的方法和 ReCU 二值量化方法 [43] 结合, 进一步
提升二值神经网络的精度. 我们和近年来的前沿二值神经网络方法进行了对比 (如表 12 所示), 其中, 2024 年提出
的 UBNAS [28] 是当前二值神经网络结构优化的性能最好的方法. 根据已有前沿方法的模型规模, 我们将模型规模
划分为 1M 左右参数量和 2M 以上参数量两种规模进行公平比较.
为了更直观地对比我们的方法和前沿方法的效果, 我们在图 7 中对比了准确率、存储开销的关系曲线. 这里
存储量指的是模型参数使用 1 比特数值格式进行保存时所需要的字节数 (单个字节可以存储 8 个 1 比特的参数).
计算开销和存储开销成正比, 这里不再列出. 从图中可以看出, 我们的方法显著优于已有前沿方法, 在存储量相同
的情况下, 准确率比已有方法高 1–3 个百分点.

表 12 CIFAR-10 数据集上和前沿方法的结果对比

95
规模 模型 参数量 (M) 准确率 (%)
[44] 93
RBCN 0.59 85.5
[28] 91
UBNAS 0.76 88.5
1M左右参数量 准确率 (%)
UBNAS [28] 1.2 89.6 89 我们的方法 RBCN
我们的方法 0.99 90.1 87 UBNAS BNAS
IR-Net BATS
BNAS [45] 4.6 91.7 85
IR-Net [46] 11.7 90.4 0 0.1 0.2 0.3 0.4 0.5 0.6
2M以上参数量 BATS [29] 2.8 93.7 存储量 (MB)
UBNAS [28] 3.1 91.3 图 7 CIFAR-10 数据集上我们的方法得到的
我们的方法 2.02 93.8 二值神经网络和全精度网络对比

5 总 结

为了提高二值神经网络的性能, 本文提出了一种有效的二值网络结构优化和训练方法. 全精度特征的量化会
导致关键信息的丢失和精度的降低. 为了改善这一问题, 我们在加宽后网络的基础上采用网络收缩的方法来寻找
高效、准确的量化模型. 此外, 还采用知识蒸馏的方法进一步提高了模型的性能. 在基准模型和数据集上进行的实
验验证了该方法的有效性, 实验结果与全精度模型的性能相当. 此外, 该方法还可以与新的量化激活函数和网络架
构等不同方法相结合, 得到更有效、更精确的量化网络.

References:
[1] Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. In: Proc. of the 26th Int’l Conf.
on Neural Information Processing Systems. Lake Tahoe: Curran Associates Inc., 2012. 1097–1105.
[2] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv:1409.1556, 2015.
[3] He KM, Zhang XY, Ren SQ, Sun J. Deep residual learning for image recognition. In: Proc. of the 2016 IEEE Conf. on Computer Vision
and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016. 770–778. [doi: 10.1109/CVPR.2016.90]
[4] Ren SQ, He KM, Girshick R, Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. In: Proc. of the
29th Int’l Conf. on Neural Information Processing Systems. Montreal: MIT Press, 2015. 91–99.
[5] Redmon J, Divvala S, Girshick R, Farhadi A. You only look once: Unified, real-time object detection. In: Proc. of the 2016 IEEE Conf.
on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016. 779–788. [doi: 10.1109/CVPR.2016.91]
[6] Chen LC, Papandreou G, Kokkinos I, Murphy K, Yuille AL. DeepLab: Semantic image segmentation with deep convolutional nets,
atrous convolution, and fully connected CRFs. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834–848. [doi: 10.
1109/TPAMI.2017.2699184]
[7] He KM, Gkioxari G, Dollár P, Girshick R. Mask R-CNN. In: Proc. of the 2017 IEEE Int’l Conf. on Computer Vision (ICCV). Venice:
IEEE, 2017. 2980–2988. [doi: 10.1109/ICCV.2017.322]
[8] Li H, Kadav A, Durdanovic I, Samet H, Graf HP. Pruning filters for efficient ConvNets. arXiv:1608.08710, 2017.