Page 109 - 《软件学报》2021年第8期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2021,32(8):2391−2407 [doi: 10.13328/j.cnki.jos.006189] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

∗
一种超低损失的深度神经网络量化压缩方法

1,2
1,2
1,2
3
1,2
龚 成 , 卢 冶 , 代素蓉 , 刘方鑫 , 陈新伟 , 李 涛 1,2,4
1
(南开大学 计算机学院,天津 300350)
2
(天津市网络和数据安全技术重点实验室(南开大学),天津 300350)
3 (工业机器人应用福建省高校工程研究中心(闽江学院),福建 福州 350121)
4 (计算机体系结构国家重点实验室(中国科学院 计算技术研究所),北京 100190)
通讯作者: 卢冶, E-mail: luye@nankai.edu.cn

摘 要: 深度神经网络(deep neural network,简称 DNN)量化是一种高效的模型压缩方法,使用少量位宽表示模型
计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究缺乏有
效的定量分析,这导致量化损失难以预测.提出了一种超低损失的 DNN 量化方法(ultra-low loss quantization,简称
μL2Q),以揭示量化位宽与量化损失之间的内在联系,指导量化位宽选择并降低量化损失.首先,将原始数据映射为标
准正态分布的数据;然后,在等宽的量化区间中搜索最优量化参数;最后,将μL2Q 方法融合进 DNN 的训练过程,并嵌
入到主流的机器学习框架Caffe及Keras中,以支撑端到端模型压缩的设计和训练.实验结果表明,与最新的研究方法
相比,在相同的位宽条件下,μL2Q 方法能够保证更高的模型精度,在典型的神经网络模型上精度分别提高了
1.94%,3.73%和 8.24%.显著性物体检测实验结果表明,μL2Q 方法能够胜任复杂的计算机视觉任务.
关键词: 神经网络压缩;神经网络量化;权值分布;均匀量化;量化损失最优解
中图法分类号: TP181

中文引用格式: 龚成,卢冶,代素蓉,刘方鑫,陈新伟,李涛.一种超低损失的深度神经网络量化压缩方法.软件学报,2021,32(8):
2391−2407. http://www.jos.org.cn/1000-9825/6189.htm
英文引用格式: Gong C, Lu Y, Dai SR, Liu FX, Chen XW, Li T. Ultra-low loss quantization method for deep neural network
compression. Ruan Jian Xue Bao/Journal of Software, 2021,32(8):2391−2407 (in Chinese). http://www.jos.org.cn/1000-9825/
6189.htm
Ultra-low Loss Quantization Method for Deep Neural Network Compression

1,2
3
1,2
1,2
1,2
GONG Cheng , LU Ye , DAI Su-Rong , LIU Fang-Xin , CHEN Xin-Wei , LI Tao 1,2,4
1
(College of Computer Science, Nankai University, Tianjin 300350, China)
2
(Tianjin Key Laboratory of Network and Data Security Technology (Nankai University), Tianjin 300350, China)
3
(Industrial Robot Application of Fujian University Engineering Research Center (Minjiang University), Fujian 350121, China)

∗ 基金项目: 国家重点研发计划(2018YFB2100300); 国家自然科学基金(62002175, 61872200); 天津自然科学基金(19JCZDJC3
1600, 19JCQNJC00600); 计算机体系结构国家重点实验室(中国科学院计算技术研究所)开放课题(CARCHB202016, CARCH2019
05); 中国高校产学研创新基金(2020HYA01003); 工业机器人应用福建省高校工程研究中心(闽江学院)开放基金(MJUKF-IRA1902)
Foundation item: National Key Research and Development Program of China (2018YFB2100300); National Natural Science
Foundation of China (62002175, 61872200); Natural Science Foundation of Tianjin Municipality (19JCZDJC31600, 19JCQNJC00600);
Open Fund of State Key Laboratory of Computer Architecture (Institute of Computing Technology, Chinese Academy of Sciences)
(CARCHB202016, CARCH201905); Innovation Fund of Chinese Universities Industry-University-Research (2020HYA01003); Open
Fund of Industrial Robot Application of Fujian University Engineering Research Center (Minjiang University) (MJUKF-IRA1902)
本文由“泛在嵌入式智能系统”专题特约编辑郭兵教授、王泉教授、邓庆绪教授、陈铭松教授、张凯龙副教授推荐.
收稿时间: 2020-07-21; 修改时间: 2020-09-07; 采用时间: 2020-11-02; jos 在线出版时间: 2021-02-07