Page 155 - 《软件学报》2021年第7期

朱向雷 等:自动驾驶智能系统测试研究综述 2073

Table 2 Summary of simulators
表 2 模拟器整理
名称 引用文献 出处
Intelleigent driver model [26] [88]
AUTOACE [23] [23]
Udacity [30] [89]
Pro-SiVICTM [49] [90]
Prescan [46] [91]
表 1 和表 2 中,名称列表示数据集的名称,数据集规模列标注了每种数据集的大小,引用文献列标注了使用
这些数据集的文章,出处列标注了该数据集的出处.

6 总结与展望

本文总结了几年来针对自动驾驶智能系统测试的相关研究 56 篇,相关数据集 8 个以及相关模拟器 5 个.本
文依据自动驾驶智能系统测试的对象将整篇文章划分成 4 个部分:自动驾驶感知模块的测试、自动驾驶决策模
块的测试、自动驾驶综合功能模块的测试以及自动驾驶整车测试,并针对这 4 部分展开了详细的综述.
尽管目前已有许多团队、学者参与到了该领域的研究当中,但该领域仍有许多难题等待着人们去攻克,本
文总结了目前该领域仍然存在的挑战,为相关研究人员提供了接下来的研究方向,以推动自动驾驶系统测试的
进一步发展.
(1) 由于自动驾驶智能系统的复杂性和难解释性,现有的自动驾驶智能系统测试方法也面临着可解释性较
差的问题.而较差的可解释性会对进一步提升自动驾驶智能系统的鲁棒性、安全性等带来新的挑战.因此,提升
自动驾驶智能系统测试的可解释性是一项重要的研究工作,也将为后续的自动修复带来新的机会.
(2) 由于自动驾驶智能系统往往需要大量的测试样本,而标注测试样本是一项十分耗时耗力的任务,因此,
如何选择有效的测试样本进行优先标注,对于提升自动驾驶智能系统的测试效率具有重要意义.因此,解决自动
驾驶智能系统测试中的样本标注问题是一个重要的研究方向.
(3) 尽管目前有许多针对整车的测试覆盖度量指标,但是针对单个模块(如感知模块和决策模块)的测试覆
盖度量指标仍有所欠缺.而单一模块的测试是整车测试的基础,因此,结合单一模块的具体特性,设计针对单一
模块的测试覆盖度量指标,对自动驾驶智能系统的测试充分性具有重要意义,该方向也是未来研究方向之一.

References:
[1] Koopman P, Wagner M. Challenges in autonomous vehicle testing and validation. SAE Int’l Journal of Transportation Safety,
2016,4(1):15–24.
[2] Li L, Lin YL, Zheng NN, et al. Artificial intelligence test: A case study of intelligent vehicles. Artificial Intelligence Review,
2018,50(3):441–465.
[3] Garcia J, Feng Y, Shen J, et al. A comprehensive study of autonomous vehicle bugs. In: Proc. of the ACM/IEEE 42nd Int’l Conf. on
Software Engineering. 2020. 385–396.
[4] Kang Y, Yin H, Berger C. Test your self-driving algorithm: An overview of publicly available driving datasets and virtual testing
environments. IEEE Trans. on Intelligent Vehicles, 2019,4(2):171–185.
[5] Eykholt K, Evtimov I, Fernandes E, et al. Note on attacking object detectors with adversarial stickers. arXiv Preprint arXiv:
1712.08062, 2017.
[6] Eykholt K, Evtimov I, Fernandes E, et al. Robust physical-world attacks on deep learning visual classification. In: Proc. of the IEEE
Conf. on Computer Vision and Pattern Recognition. 2018. 1625–1634.
[7] Mogelmose A, Trivedi MM, Moeslund TB. Vision-based traffic sign detection and analysis for intelligent driver assistance systems:
Perspectives and survey. IEEE Trans. on Intelligent Transportation Systems, 2012,13(4):1484–1497.
[8] Stallkamp J, Schlipsing M, Salmen J, et al. Man vs. computer: Benchmarking machine learning algorithms for traffic sign
recognition. Neural Networks, 2012,32:323–332.
[9] Stallkamp J, Schlipsing M, Salmen J, et al. The German traffic sign recognition benchmark: A multi-class classification competition.
In: Proc. of the 2011 Int’l Joint Conf. on Neural Networks. IEEE, 2011. 1453–1460.