Page 43 - 《软件学报》2020年第10期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2020,31(10):3019−3037 [doi: 10.13328/j.cnki.jos.006068] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

∗
基于跨虚拟机零下陷通信的加速器虚拟化框架

3
2
1
1
1
4
2
李鼎基 , 糜泽羽 , 吴保东 , 陈 逊 , 赵永望 , 丁佐华 , 陈海波
1
(上海交通大学 软件学院,上海 200240)
2 (北京市商汤科技开发有限公司,北京 100080)
3 (浙江大学 网络空间安全学院,浙江 杭州 310007)
4
(浙江理工大学 信息学院,浙江 杭州 310018)
通讯作者: 陈海波, E-mail: haibochen@sjtu.edu.cn

摘 要: 人工智能技术的长足发展对于云计算的算力提出了更高的要求,云服务提供商在数据中心内添置了拥有
大量并行计算单元的加速器,这些加速器需要与已有的虚拟化平台相结合以进行计算资源的划分.当前主流的加速
器虚拟化方案是通过 PCI 透传的方式,但是该方式不支持细粒度的资源划分;部分特定型号的加速器还支持了时分
复用的方案,通过硬件与虚拟机监视器配合划分计算资源和时间片,但是该方案可移植性差,对于任何新型加速器的
适配都要重新开发,固定的资源划分策略也导致可扩展性有限;另有基于 API 转发的方案,通过分离式驱动的模式将
虚拟机的请求转发给后端驱动处理,而转发通信的过程中存在着性能瓶颈.提出了Wormhole,一种基于C/S架构的、
支持跨虚拟机快速代理执行的加速器虚拟化框架,旨在为上层用户提供高效、透明的加速器 API 转发虚拟化的同
时保障多用户间的强隔离性.该框架利用硬件虚拟化技术,允许 CPU 控制流在虚拟机间快速切换而不触发任何下
陷,大幅降低了虚拟机间通信带来的虚拟化性能开销.实验结果表明,Wormhole 的原型系统相较于具有代表性的开
源虚拟化方案 GvirtuS,在经典模型的训练测试中能够有高达 5 倍的性能提升.
关键词: 虚拟化;加速器;人工智能;代理执行;虚拟机间通信
中图法分类号: TP311

中文引用格式: 李鼎基,糜泽羽,吴保东,陈逊,赵永望,丁佐华,陈海波.基于跨虚拟机零下陷通信的加速器虚拟化框架.软件学
报,2020,31(10):3019−3037. http://www.jos.org.cn/1000-9825/6068.htm
英文引用格式: Li DJ, Mi ZY, Wu BD, Chen X, Zhao YW, Ding ZH, Chen HB. Accelerator virtualization framework based on
inter-VM exitless communication. Ruan Jian Xue Bao/Journal of Software, 2020,31(10):3019−3037 (in Chinese). http://www.jos.
org.cn/1000-9825/6068.htm
Accelerator Virtualization Framework Based on Inter-VM Exitless Communication

3
1
2
2
2
1
LI Ding-Ji , MI Ze-Yu , WU Bao-Dong , CHEN Xun , ZHAO Yong-Wang , DING Zuo-Hua ,
1
CHEN Hai-Bo
1 (School of Software, Shanghai Jiaotong University, Shanghai 200240, China)
2 (Sensetime, Beijing 100080, China)
3 (School of Cyber Science and Technology, Zhejiang University, Hangzhou 310007, China)
4 (School of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018, China)

∗ 基金项目: 广东省重点领域研发计划(2020B010164003); 国家杰出青年科学基金(61925206); 上海市科委高技术支持计划
(19511121100)
Foundation item: Key-area Research and Development Program of Guangdong Province of China (2020B010164003); National
Science Fund for Distinguished Young Scholars (61925206); HighTech Support Program from Shanghai Committee of Science and
Technology (19511121100)
本文由“系统软件前沿进展”专题特约编辑武延军研究员、陈海波教授、包云岗研究员、李玲研究员推荐.
收稿时间: 2020-02-10; 修改时间: 2020-04-04; 采用时间: 2020-05-09; jos 在线出版时间: 2020-06-10