Page 16 - 《软件学报》2020年第9期

葛道辉 等:轻量级神经网络架构综述 2637

的控制器,实现用较少的 GPU 时间实现快速压缩,同时也支持连续的动作空间.
Table 1 Comparison of lightweight model methods based on reinforcement learning
表 1 基于强化学习的轻量级模型方法的比较
NAS NT N2N AMC
Optimize for accuracy √ √ √ √`
Optimize for latency √
Simple, non-RNN controller √
Fast exploration with few GPUs √ √ √
Continuous action space √

针对不同的应用场景,AMC 提出了两种压缩策略搜索协议:对时效性要求较高的场景,例如移动应用程序、
自动驾驶和广告排名等,通过限制搜索空间,即在模型大小和滤波器的数量等方面进行压缩,以获得最大的硬件
资源;对性能要求较高的场景,例如拍照识图和谷歌图像等,通过研究模型的精度和规模设计奖励函数,实现模
型的压缩并保持模型的精度.图 12 表示了 AMC 模型压缩算法流程图.

人工压缩:子最优
卷积层t+1

奖励=-损失*
优化器 ?%
log(FLOP)
初始网络 压缩网络
AMC 动作:稀疏率 卷积层t
engine 执行器
a t压缩 50%
特征 特征提取 卷积层t-1

S t =[N,C,H,W,i,...] 30%
初始网络 压缩网络 代理:DDPG

环境:通道裁剪
Fig.12 The structure of AMC compression algorithm
图 12 AMC 模型压缩算法结构图
AMC 模型通过强化学习算法训练代理,实现动作的预测并计算稀疏性,执行压缩.同时,快速评估压缩后的
模型性能,通过优化损失函数,鼓励更小、更精确的结果更新代理.AMC 在 ResNet-50 上评估了压缩的性能,并测
试了压缩模型从分类到目标检测的泛化能力.实验表明,AMC 提供了比手工设计的启发式策略更优的性能.对
于 ResNet-50,压缩比从 3.4 倍提高到了 5 倍而不损失准确率,如图 13 所示.

50% ResNet-50 人工密集裁剪
50%
ResNet-50 AMC剪裁(越低越好)

40% 43%
参数密度 #非零权重/总权重 30% 31% 28% 31% 28% 30% 23% 30% 29% 20%
20%

10% 19% 20%
10%
0%
Conv 1 ResBlock 1 ResBlock 2 ResBlock 3 ResBlock 4 FC Total
Fig.13 Comparison between AMC and artificial design compression algorithm
图 13 AMC 与人工设计压缩算法的比较