Page 152 - 《软件学报》2021年第11期
P. 152

3478                                Journal of Software  软件学报 Vol.32, No.11, November 2021

                    •   PE-CP 与 PE-Tucker 是本文提出的基于参数估计的自动化加速卷积神经网络方法.
                    •   Gene-CP 与 Gene-Tucker 是本文提出的基于遗传算法的自动化加速卷积神经网络方法.
















                                         Fig.11    Model accelerated effect varied with rank
                                               图 11   模型加速效果随秩的变化
                                        Table 1    Comparison of different methods on MNSIT
                                             表 1   MNIST 数据集上不同方法对比
                                      压缩方法       ACC  (%)  Time   Cov Floats  Cov FLOPs
                                       无压缩        99.26    14.8    52 096     2.13e7
                                        CP        98.93    3.2     1 056      7.54e5
                                       PE-CP      98.91    2.9      758       5.7e5
                                      Gene-CP     98.91    2.9      758       5.7e5
                                       Tucker     98.82    3.9     5 184      1.24e6
                                      PE-Tucker   98.82    3.6     1 651      5.23e5
                                     Gene-tucker  98.88    3.8     2 586      7.18e5

                                       Table 2    Comparison of different methods on CIFAR-10
                                            表 2   CIFAR-10 数据集上不同方法对比

                                      压缩方法       ACC  (%)  Time   Cov Floats  Cov FLOPs
                                       无压缩        76.31    8.8     107 328    3.5e7
                                        CP        71.64    5.8     2 278      1.1e6
                                       PE-CP      71.18    4.9     2 063      9.92e5
                                      Gene-CP     71.75    5.0     2 201      1.02e6
                                       Tucker     71.73    5.7     10 880     1.97e6
                                      PE-Tucker   71.32    5.4     5 690      1.21e6
                                     Gene-tucker  71.39    5.5     6 054      1.27e6

                    实验结果分析:
                    •   加速效果 Time 的实验结果显示:张量分解能显著提升 CNN 运行时间,达到加速 CNN 的目的.从 CP 分
                        解与 Tucker 分解加速 CNN 的总体实验结果表现,CP 分解一定程度上优于 Tucker 分解.从传统的张量
                        分解与 AutoACNN 相比,AutoACNN 的加速效果表现更好;除此之外,准确率 ACC 表现非常接近甚至
                        更优.
                    •   从 ACC 与 Time 的实验结果显示:张量分解加速 CNN 能牺牲微量的准确率,获得大幅的时间性能提升.
                        在 Mnist 数据集上最好的实验表现,CNN 精度损失 0.35%,获得 4.1 倍时间性能提升;在 Cifar10 数据集
                        上最好的实验表现,CNN 精度损失 5.13%,获得 0.8 倍时间性能提升.相比于手工设计的 CP 分解与
                        Tucker 分解,自动化的模型压缩有更好的性能表现.
                    •   从 Cov Floats 的实验结果显示:张量分解后卷积层参数大幅降低,AutoACNN 压缩效果更优,最好的实
                        验结果能得到 67 倍卷积层参数量压缩.
                    •   从 Cov FLOPs 的实验结果显示:张量分解后卷积层浮点数计算量大幅降低,AutoACNN 表现更优.最好
   147   148   149   150   151   152   153   154   155   156   157