Page 92 - 《软件学报》2024年第6期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2024,35(6):2668−2686 [doi: 10.13328/j.cnki.jos.007102] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
AutoConfig: 面向深度学习编译优化的自动配置机制

张洪滨 1,2 , 周旭林 1,2 , 邢明杰 2 , 武延军 2 , 赵 琛 2

1
(中国科学院大学, 北京 100049)
2
(中国科学院 软件研究所, 北京 100190)
通信作者: 武延军, E-mail: yanjun@iscas.ac.cn

摘 要: 随着深度学习模型和硬件架构的快速发展, 深度学习编译器已经被广泛应用. 目前, 深度学习模型的编译
优化和调优的方法主要依赖基于高性能算子库的手动调优和基于搜索的自动调优策略. 然而, 面对多变的目标算
子和多种硬件平台的适配需求, 高性能算子库往往需要为各种架构进行多次重复实现. 此外, 现有的自动调优方案
也面临着搜索开销大和缺乏可解释性的挑战. 为了解决上述问题, 提出 AutoConfig, 一种面向深度学习编译优化的

自动配置机制. 针对不同的深度学习计算负载和特定的硬件平台, AutoConfig 可以构建具备可解释性的优化算法
分析模型, 采用静态信息提取和动态开销测量的方法进行综合分析, 并基于分析结果利用可配置的代码生成技术
自动完成算法选择和调优. AutoConfig 创新性地将优化分析模型与可配置的代码生成策略相结合, 不仅能保证性
能加速效果, 还能减少重复开发的开销, 同时可以简化调优过程. 在此基础上, 进一步将 AutoConfig 集成到深度学
习编译器 Buddy Compiler 中, 对矩阵乘法和卷积的多种优化算法建立分析模型, 并将自动配置的代码生成策略应
用在多种 SIMD 硬件平台上进行评估. 实验结果可验证 AutoConfig 在代码生成策略中完成参数配置和算法选择的
有效性. 与经过手动或自动优化的代码相比, 由 AutoConfig 生成的代码可达到相似的执行性能, 并且无需承担手动
调优的重复实现开销和自动调优的搜索开销.
关键词: 深度学习编译器; 编译优化; 代码生成; 自动配置机制
中图法分类号: TP314

中文引用格式: 张洪滨, 周旭林, 邢明杰, 武延军, 赵琛. AutoConfig: 面向深度学习编译优化的自动配置机制. 软件学报, 2024,
35(6): 2668–2686. http://www.jos.org.cn/1000-9825/7102.htm
英文引用格式: Zhang HB, Zhou XL, Xing MJ, Wu YJ, Zhao C. AutoConfig: Automatic Configuration Mechanism for Deep Learning
Compilation Optimization. Ruan Jian Xue Bao/Journal of Software, 2024, 35(6): 2668–2686 (in Chinese). http://www.jos.org.cn/1000-
9825/7102.htm
AutoConfig: Automatic Configuration Mechanism for Deep Learning Compilation Optimization

2
1,2
1,2
2
ZHANG Hong-Bin , ZHOU Xu-Lin , XING Ming-Jie , WU Yan-Jun , ZHAO Chen 2
1
(University of Chinese Academy of Sciences, Beijing 100049, China)
2
(Institute of Software, Chinese Academy of Sciences, Beijing 100190, China)
Abstract: Deep learning compilers have been widely employed with the rapid development of deep learning models and hardware
architectures. At present, the compilation optimization and tuning methods of deep learning models mainly rely on high-performance
operator libraries and automatic compiler tuning. However, facing various target operators and adaptation requirements of several hardware
platforms, high-performance operator libraries should conduct multiple implementations for different architectures. Additionally, existing
auto-tuning schemes face challenges in substantial search overheads and interpretability. To this end, this study proposes AutoConfig, an
automatic configuration mechanism for deep learning compilation optimization. Targeting different deep learning workloads and multiple

* 基金项目: 国家重点研发计划 (2022YFB4401402)
本文由“编译技术与编译器设计”专题特约编辑冯晓兵研究员、郝丹教授、高耀清博士、左志强副教授推荐.
收稿时间: 2023-09-11; 修改时间: 2023-10-30; 采用时间: 2023-12-14; jos 在线出版时间: 2024-01-05
CNKI 网络首发时间: 2024-03-29