Page 150 - 《软件学报》2021年第11期

3476 Journal of Software 软件学报 Vol.32, No.11, November 2021

Fig.8 Two-layer convolution rank grouping lookup
图 8 两层卷积秩的分组查找

3.2 基于遗传算法的自动化加速卷积神经网络
在基于参数估计的自动化加速卷积神经网络算法工作中,第 3 步与第 4 步是搜寻最优秩选择并尽最大可能
减少搜寻次数.受其工作启发,步骤 1 与步骤 2 不变,步骤 3 与步骤 4 使用遗传算法替换,最终返回满足容忍精度
的最优压缩神经网络模型.算法流程图如图 9 所示.

Fig.9 Auto acceleration CNN based on genetic algorithm
图 9 基于遗传算法的自动化加速 CNN
图 9 的步骤 3 遗传算法见算法 2.在 Selection 选择函数中,我们首先淘汰掉准确率低于容忍精度,而后以加
速效果为适应度来选择下一代种群,经过迭代遗传,种群的基因表现趋近最优的秩组合.
算法 2. 基于遗传算法的自动化加速 CNN 算法.
Hyper Parameters:种群大小 P;变异数 M;交叉数 S;最大迭代次数 N.
Input:原模型卷积层参数 W[i];张量分解加速后模型的容忍精度 Acc.
Output:输出最优秩选择方案 Progm.
1: C=Constraints(W)
2: G 0 =Random(P), s.t. C
3: for i=0:N do
4: time, accuracy=Compressed_Model(G i )
5: G , time, accuracy=Selection(G i, time,accuracy,Acc)
6: G m =Mutation(G,M)
7: G c =Crossover(G,S)
8: G i =G m +G c
9: end
10: G top =Top_one(G N ,time,accuracy,Acc)
11: Progm=decode_to_rank(G top )
12: return Progm

4 实 验

[1]
本实验基础网络选择 LeNet5 神经网络结构对 MNIST 数据集进行手写数字识别和对 CIFAR-10 数据集进
行图像识别.我们在实验中首先探究了在张量分解时选择的秩对神经网络的影响,而后对本文提出的两个