Page 6 - 《软件学报》2020年第9期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2020,31(9):2627−2653 [doi: 10.13328/j.cnki.jos.005942] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

∗
轻量级神经网络架构综述

2,4
1
2
1
2
葛道辉 , 李洪升 , 张 亮 , 刘如意 , 沈沛意 , 苗启广 1,3
1
(西安市大数据与视觉智能关键技术重点实验室(西安电子科技大学),陕西 西安 710071)
2 (嵌入式技术与视觉处理研究中心(西安电子科技大学),陕西 西安 710071)
3 (陕西省区块链与安全计算重点实验室(西安电子科技大学),陕西 西安 710071)
4
(上海宽带技术及应用工程研究中心,上海 200436)
通讯作者: 李洪升, E-mail: hsli@stu.xidian.edu.cn

摘 要: 深度神经网络已经被证明可以有效地解决图像、自然语言等不同领域的问题.同时,伴随着移动互联网技
术的不断发展,便携式设备得到了迅速的普及,用户提出了越来越多的需求.因此,如何设计高效、高性能的轻量级神
经网络,是解决问题的关键.详细阐述了 3 种构建轻量级神经网络的方法,分别是人工设计轻量级神经网络、神经网
络模型压缩算法和基于神经网络架构搜索的自动化神经网络架构设计;同时,简要总结和分析了每种方法的特点,并
重点介绍了典型的构建轻量级神经网络的算法;最后,总结现有的方法,并给出了未来发展的前景.
关键词: 轻量级神经网络;便携式设备;神经网络模型压缩;神经网络架构搜索;自动机器学习
中图法分类号: TP183

中文引用格式: 葛道辉,李洪升,张亮,刘如意,沈沛意,苗启广.轻量级神经网络架构综述.软件学报,2020,31(9):2627−2653.
http://www.jos.org.cn/1000-9825/5942.htm
英文引用格式: Ge DH, Li HS, Zhang L, Liu RY, Shen PY, Miao QG. Survey of lightweight neural network. Ruan Jian Xue Bao/
Journal of Software, 2020,31(9):2627−2653 (in Chinese). http://www.jos.org.cn/1000-9825/5942.htm

Survey of Lightweight Neural Network
2
1
2
2,4
1
GE Dao-Hui , LI Hong-Sheng , ZHANG Liang , LIU Ru-Yi , SHEN Pei-Yi , MIAO Qi-Guang 1,3
1 (Xi’an Key Laboratory of Big Data and Intelligent Vision (Xidian University), Xi’an 710071, China)
2 (Embedded Technology and Vision Processing Research Center (Xidian University), Xi’an 710071, China)
3 (Shaanxi Key Laboratory of Blockchain and Secure Computing (Xidian University), Xi’an 710071, China)
4 (Shanghai Broadband Network Technology and Application Engineering Research Center, Shanghai 200436, China)
Abstract: Deep neural network has been proved to be effective in solving problems in different fields such as image, natural language,
and so on. At the same time, with the continuous development of mobile Internet technology, portable devices have been rapidly
popularized, and users have put forward more and more demands. Therefore, how to design an efficient and high performance lightweight
neural network is the key to solve the problem. In this paper, three methods of constructing lightweight neural network are described in

∗ 基金项目: 国家重点研发计划(2018YFC0807500, 2019YFB1311600); 国家自然科学基金(61772396, 61472302, 61772392,
61902296); 西安市大数据与视觉智能关键技术重点实验室课题(201805053ZD4CG37); 中央高校基本科研业务费专项资金
(JBF180301); 陕西省重点研发计划(2018ZDXM-GY-036)
Foundation item: National Key Research and Development Program of China (2018YFC0807500, 2019YFB1311600); National
Natural Science Foundation of China (61772396, 61472302, 61772392, 61902296); Xi’an Key Laboratory of Big Data and Intelligent
Vision (201805053ZD4CG37); Fundamental Research Funds for the Central Universities (JBF180301); Shaanxi Province Key Research
and Development Program (2018ZDXM-GY-036)
本文由“智能嵌入式系统”专题特约编辑王泉教授、吴中海教授、陈仪香教授、苗启广教授推荐.
收稿时间: 2019-07-01; 修改时间: 2019-08-18; 采用时间: 2019-11-02; jos 在线出版时间: 2019-12-05
CNKI 网络优先出版: 2019-12-05 14:55:05, http://kns.cnki.net/kcms/detail/11.2560.TP.20191205.1454.005.html