Page 492 - 《软件学报》2025年第10期

韩凯 等: 用于二值神经网络的加宽和收缩机制 4889

(2) 加宽和收缩机制的结果
为了得到高效准确的量化网络, 我们采用加宽和收缩机制对二值化 ResNet-18 网络进行结构优化, 并使用知
识蒸馏提升准确率. 在这些实验中, 初始宽度设置为 5. 图 6 和表 10 给出了正则化系数 λ 下的结果. 当正则化系数
λ 为 0.000 5 时, 剩余的通道约为基线的 3.3 倍. 我们选用准确率为 70.79% 的全精度 ResNet-18 作为教师进行知识
蒸馏. 温度 τ 和平衡系数分别设置为 3.0 和 0.3. 前 1 准确率提高到 70.04%, 与全精度基线网络相当.

3 000
λ 0
λ 0.0001
2 500 λ 0.0002
λ 0.0005
#Retained channels 1 500
2 000

1 000

500

0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Layer
图 6 ImageNet 数据集上二值 ResNet-18 网络在不同正则化系数 λ 下的通道数结果

表 10 ImageNet 数据集上二值 ResNet-18 网络不同正则化系数 λ 的结果

正则化系数 λ 通道去除率 (%) top-1准确率 (%)
0.000 1 17.95 68.32
0.000 2 33.06 69.19
0.000 5 33.44 69.18

4.6 目标检测实验
为了验证我们方法的泛化性, 我们进一步在目标检测任务进行了实验. SSD [42] 是一种高效、高精度的单阶段
目标检测方法. 我们使用二值神经网络代替骨干网络以及检测头. 结果如表 11 所示, 其中采用平均精度 (mAP) 作
为评价指标. 我们采用全精度 VGG16 骨干网络的 SSD 作为基线, 数据集为 PASCAL VOC0712. 方法 A 和 C 仅将
全精度 VGG16 骨干网络替换为宽度为 1 和宽度为 2 的二值 VGG16 骨干网络. 对于方法 B 和 D, 我们将除第 1 个
输入卷积层和最后一个分类和定位层外的所有全精度卷积层替换为二值化卷积层. 从表 11 中看出, 即使只使用宽
度为 1 的二值骨干网络的方法 A 也可以得到 68.74% 的 mAP. 对于 B, mAP 只减少 1.3%, 变为 67.44%. 使用宽度
为 2 的二值化 VGG16 骨干网络的 SSD 获得 72.79% 的 mAP. 这些实验证明, 更多的量化特征仍然有助于提高目
标检测任务的性能.

表 11 COCO 数据集上二值化 SSD 的结果

模型 mAP (%)
全精度SSD基线 76.81
A: 宽度为1的二值VGG16 & 全精度检测头 68.74
B: 宽度为1的二值VGG16 & 二值检测头 67.44
C: 宽度为2的二值VGG16 & 全精度检测头 72.79
D: 宽度为2的二值VGG16 & 二值检测头 71.75