Page 151 - 《软件学报》2021年第11期

宋冰冰 等:自动化张量分解加速卷积神经网络 3477

AutoACNN 算法、初始卷积神经网络 LeNet5 以及传统的张量分解加速 CNN 的效果对比.
如图 10 所示分别是 MNIST 与 CIFAR-10 两个数据集上的 CNN 模型以及使用张量分解后的卷积神经网络
结构.CP 分解和 Tucker 分解分别对应图 6 和图 8 的分解流程图.DW_conv 是深度卷积层.

Fig.10 Original network structure and tensor decomposed network structure
图 10 原始网络结构与张量分解后网络结构

张量分解的秩(rank)对 CNN 加速效果的影响如图 11 所示.图 11 展示了不同数据集上,模型的加速效果随分
解卷积核的秩的变化测得的实验数据.随着张量分解的秩越大,模型分解后的参数就越多,对模型准确率有一定
的提升,但模型训练时间和运行时间也相应增加.因此在张量分解加速 CNN 中,张量分解的秩是基于经验选择,
CNN 的加速效果受人为因素影响较大.
实验结果见表 1 和表 2,在 MNIST 数据集上输入容忍精度为 99.88%,在 CIFAR-10 数据集上输入容忍精度
为 71%.实验评价指标包含 ACC、Time、Cov Floats 以及 Cov FLOPs:ACC 表示模型的准确率,Time 表示 CNN
运行的时间,Cov Floats 表示卷积层的参数,Cov FLOPs 表示卷积层的浮点数运算量.表中 e 表示科学计数法.实
验对比方法包含无压缩、Cp、PE-Cp、Gene-Cp、Tucker、PE-Tucker、Gene-tucker.
[1]
• 无压缩表示原始卷积神经网络 LeNet5 ,未使用张量分解压缩.
• CP [34] 表示使用 CP 分解的方式加速 CNN,详情见第 2 节,CP 分解加速卷积层.
• Tucker [35] 表示使用 Tucker 分解的方式加速 CNN,详情见第 2 节,Tucker 分解加速卷积层.