Page 122 - 《软件学报》2021年第8期

2404 Journal of Software 软件学报 Vol.32, No.8, August 2021

构度量(S-measure) [56] 和增强对齐度量(E-measure) [57] .MAE 越低,MaxF、S-measure 和 E-measure 越高,代表结果
越理想.
• 实验结果
如表 10 所示,UNet++、U-Net 和 LinkNet 是 3 个端到端的显著性物体检测模型,用*标记的表示量化后的模
型.偏差记录量化模型与全精度的模型在不同数据集的不同指标上的差异;规模表示模型的大小,单位为兆字节
(MB).M,F,S,E 分别表示 4 个指标:MAE、MaxF、S-measure、E-measure,箭头表示指标的评价趋势,↑表示指标越
高越好,↓表示指标越低越好.表格中,指标降低在 0.01 以内的所有结果用粗体表示,表示较低的性能下降.从表
10 的实验结果可知,在数据集 MSRA10K 上,μL2Q 的精度下降最少.与全精度的模型相比,μL2Q 的精度在几乎
所有指标上的下降都低于 0.01.这是因为该实验中所使用的模型,包括全精度的模型和量化模型,都是基于
MSRA10K 的,其训练集和验证集基于同一数据集进行划分,数据偏差小,可以达到较好的验证效果.而其余的几
个数据集只作为验证集,由于不同的数据集之间存在偏差,因此在这些数据集上出现了一定的性能波动.但模型
的尺寸通过μL2Q 量化可减少 93%以上,实现了极高的压缩率.显著性物体检测的实验表明了:μL2Q 可以应用到
实际的计算机视觉任务中,且能有效保证性能.

Table 10 Quantization results on salient object detection models
表 10 在显著性目标检测模型上的量化结果
数据集
模型 规模 MSRA-10K ECSSD HKU-IS
M↓ F↑ S↑ E↑ M↓ F↑ S↑ E↑ M↓ F↑ S↑ E↑
U-Net 143.81 0.030 0.945 0.931 0.962 0.057 0.909 0.886 0.914 0.045 0.907 0.884 0.930
U-Net* 9.35 0.033 0.937 0.923 0.958 0.073 0.878 0.849 0.889 0.058 0.868 0.845 0.907
偏差 93.50% −0.002 0.007 0.008 0.003 −0.016 0.031 0.038 0.025 −0.013 0.039 0.039 0.023
LinkNet 139.37 0.032 0.942 0.928 0.959 0.060 0.905 0.882 0.911 0.048 0.900 0.878 0.927
LinkNet* 9.05 0.039 0.926 0.910 0.951 0.087 0.847 0.819 0.869 0.074 0.828 0.811 0.883
偏差 93.51% −0.007 0.016 0.017 0.009 −0.027 0.058 0.062 0.041 −0.026 0.072 0.066 0.044
UNet++ 109.80 0.029 0.948 0.933 0.964 0.056 0.910 0.888 0.915 0.044 0.909 0.887 0.93
UNet++* 7.24 0.032 0.938 0.924 0.959 0.071 0.879 0.851 0.893 0.059 0.865 0.845 0.904
偏差 93.40% −0.003 0.009 0.01 0.005 −0.015 0.031 0.037 0.022 −0.015 0.043 0.042 0.026

Table 10 Quantization results on salient object detection models (Continued)
表 10 在显著性目标检测模型上的量化结果(续)
数据集
模型 规模 DUTs DUT-OMRON
M↓ F↑ S↑ E↑ M↓ F↑ S↑ E↑
U-Net 143.81 0.060 0.896 0.865 0.874 0.070 0.804 0.803 0.829
U-Net* 9.35 0.071 0.869 0.836 0.858 0.079 0.764 0.772 0.817
偏差 93.50% −0.011 0.027 0.029 0.016 −0.009 0.040 0.031 0.012
LinkNet 139.37 0.062 0.892 0.861 0.871 0.071 0.801 0.799 0.825
LinkNet* 9.05 0.085 0.843 0.812 0.842 0.092 0.729 0.748 0.795
偏差 93.51% −0.022 0.049 0.049 0.029 −0.021 0.073 0.051 0.030
UNet++ 109.80 0.059 0.897 0.867 0.876 0.070 0.805 0.805 0.829
UNet++* 7.24 0.072 0.868 0.836 0.856 0.080 0.769 0.775 0.817
偏差 93.40% −0.013 0.029 0.031 0.020 −0.010 0.035 0.030 0.012

5 总 结
本文提出了一种超低损失的 DNN 模型量化方法μL2Q,该方法的设计考虑了 DNN 权值数据的分布规律,
通过定量分析量化位宽与量化损失间的关系,呈现了不同量化位宽条件下的最低损失所对应的量化参数,实现
了极低的量化损失,从而能对 DNN 模型有效压缩并能保证模型推理精度.此外,本文还将μL2Q 融合进主流机器
学习训练框架中如 Keras,为 DNN 模型压缩的设计和实现提供了便捷途径,并显著降低了工程实现的难度,也有
效减少了人工尝试等重复性劳动.实验评估结果表明,本文提出的μL2Q 实现了极低的量化损失,显著优于其他