Page 152 - 《软件学报》2021年第11期

3478 Journal of Software 软件学报 Vol.32, No.11, November 2021

• PE-CP 与 PE-Tucker 是本文提出的基于参数估计的自动化加速卷积神经网络方法.
• Gene-CP 与 Gene-Tucker 是本文提出的基于遗传算法的自动化加速卷积神经网络方法.

Fig.11 Model accelerated effect varied with rank
图 11 模型加速效果随秩的变化
Table 1 Comparison of different methods on MNSIT
表 1 MNIST 数据集上不同方法对比
压缩方法 ACC (%) Time Cov Floats Cov FLOPs
无压缩 99.26 14.8 52 096 2.13e7
CP 98.93 3.2 1 056 7.54e5
PE-CP 98.91 2.9 758 5.7e5
Gene-CP 98.91 2.9 758 5.7e5
Tucker 98.82 3.9 5 184 1.24e6
PE-Tucker 98.82 3.6 1 651 5.23e5
Gene-tucker 98.88 3.8 2 586 7.18e5

Table 2 Comparison of different methods on CIFAR-10
表 2 CIFAR-10 数据集上不同方法对比

压缩方法 ACC (%) Time Cov Floats Cov FLOPs
无压缩 76.31 8.8 107 328 3.5e7
CP 71.64 5.8 2 278 1.1e6
PE-CP 71.18 4.9 2 063 9.92e5
Gene-CP 71.75 5.0 2 201 1.02e6
Tucker 71.73 5.7 10 880 1.97e6
PE-Tucker 71.32 5.4 5 690 1.21e6
Gene-tucker 71.39 5.5 6 054 1.27e6

实验结果分析:
• 加速效果 Time 的实验结果显示:张量分解能显著提升 CNN 运行时间,达到加速 CNN 的目的.从 CP 分
解与 Tucker 分解加速 CNN 的总体实验结果表现,CP 分解一定程度上优于 Tucker 分解.从传统的张量
分解与 AutoACNN 相比,AutoACNN 的加速效果表现更好;除此之外,准确率 ACC 表现非常接近甚至
更优.
• 从 ACC 与 Time 的实验结果显示:张量分解加速 CNN 能牺牲微量的准确率,获得大幅的时间性能提升.
在 Mnist 数据集上最好的实验表现,CNN 精度损失 0.35%,获得 4.1 倍时间性能提升;在 Cifar10 数据集
上最好的实验表现,CNN 精度损失 5.13%,获得 0.8 倍时间性能提升.相比于手工设计的 CP 分解与
Tucker 分解,自动化的模型压缩有更好的性能表现.
• 从 Cov Floats 的实验结果显示:张量分解后卷积层参数大幅降低,AutoACNN 压缩效果更优,最好的实
验结果能得到 67 倍卷积层参数量压缩.
• 从 Cov FLOPs 的实验结果显示:张量分解后卷积层浮点数计算量大幅降低,AutoACNN 表现更优.最好