Page 165 - 《软件学报》2020年第9期

2786 Journal of Software 软件学报 Vol.31, No.9, September 2020

deep learning models, but also invalidate the road sign recognition models in the physical scenario. The attack effectiveness of BPA-PSO
algorithm is verified through a large number of experiments in the digital images of electronic space, laboratory environment, and outdoor
road conditions. Besides, the abilities of discovering models’ vulnerabilities and further improving the application security of deep
learning are also demonstrated. Finally, the problems existing in the BPA-PSO algorithm are analyzed and possible challenges of future
research are proposed.
Key words: autopilot; adversarial attack; road recognition; black-box physical attack; particle swarm optimization

[1]
[2]
深度学习凭借其强大的特征提取与拟合能力而被广泛应用于各个领域,如自动驾驶 、人脸识别 、语音
[6]
[7]
[5]
[4]
[3]
识别 、恶意软件检测 、推荐系统 、生物信息 、城市管理 、目标检测与识别 [8−14] 等.其中,自动驾驶技术
的日趋成熟引起了研究人员的广泛关注,其涵盖了图像处理、语音识别、激光雷达、GPS 定位、自动路径规划
等大量前沿技术.而无人汽车的高级控制系统依赖基于深度学习的图像识别与目标检测等实现环境的感知,其
中,基于深度学习(例如 GTSRB-CNN [15] )的路牌识别是主要技术之一.
然而,最新的研究发现,深度学习容易受到对抗样本攻击 [16] ,即:通过在正常良性样本中添加精心设计的微
小扰动得到的对抗样本,可使原本分类准确率接近 99%的深度学习模型完全失效,且添加的扰动肉眼不可见.因
此,对抗样本具有较强的迷惑性和危害性.Szegedy 等人 [17] 首次证明了:通过在输入数据中添加小规模精心制作
的扰动,能够使卷积神经网络做出错误决策.此后出现了更多的针对深度模型的对抗攻击方法.根据深度模型的
透明程度,可以分为白盒攻击和黑盒攻击:白盒攻击如 FGSM [18] 、C&W [19] 、DeepFool [20] 、通用对抗扰动攻击 [21] 、
单像素攻击 [22] 等;黑盒攻击如 Boundary [23] ,ZOO [24] ,POBA-GA [25] .这些攻击方法计算得到的对抗扰动虽然是不
明显的,甚至是肉眼不可见的,但能够导致深度学习模型失效.对抗攻击不仅发生在数字虚拟空间,也出现在现
实物理空间中.在物理世界,Kurakin 等人 [26] 通过手机摄像头识别打印的对抗样本时出现错误分类;Sharif 等
人 [27] 研制出了一副带有对抗扰动的“眼镜”,可以让佩戴者躲过人脸识别系统或者被误识为另一个人;马玉琨等
人 [28] 提出了一种面向人脸活体检测的对抗样本生成算法.
在物理场景的攻击中,通常需要面对这些挑战:(1) 物理场景的背景环境是多变的,无法通过控制背景进行
攻击;(2) 光线、距离和角度的不同容易引起对抗扰动的攻击失效;(3) 扰动过小可能使图像传感器无法有效捕
捉,太大则容易引起人眼的警觉.
自动驾驶车辆的路牌识别系统,其安全性和可靠性对汽车行驶过程中做出正确的决策具有重要影响.当攻
击者在真实的路牌上添加对抗扰动,并成功攻击路牌识别系统时,可能会造成难以想象的灾难.本文针对物理世
界中常用的基于深度学习的路牌识别系统展开攻击,设计基于粒子群优化的黑盒物理攻击方法(black-box
physical attack via PSO,简称 BPA-PSO),攻击者可以操控被攻击对象的物理外表,如在路牌上添加一些不易引起
人类警觉的海报或贴纸来欺骗自动驾驶车辆的路牌识别系统.BPA-PSO 算法在不知道目标模型结构和参数等
细节的前提下,通过迭代优化得到在物理世界实现有效攻击的对抗样本,该方法能够克服真实路牌识别场景中
的光线、角度和距离等因素的影响,发现基于深度学习的路牌识别系统中存在的安全漏洞.
根据攻击者希望实现的攻击目标的不同,可以分为有目标攻击和无目标攻击.在无目标攻击中,攻击者的目
的是使某一路牌不能被正确识别或者被识别成其他任意一种路牌.例如:攻击“紧急转弯”标识后,被路牌识别系
统错误识别为任意其他标志,使得车辆遇到急转弯时发生意外.在有目标攻击中,攻击者试图在某一路牌上添加
海报或贴纸使该路牌标志被识别为指定的另一种路牌标志,这类攻击往往带有更大的危害性.例如:当一个区域
内被攻击的路牌标志数量较多,甚至可以构成一个系统时,该区域的交通很容易发生瘫痪,造成较大的损失.
BPA-PSO 算法通过调整适应度函数的优化目标,能够同时实现有目标攻击和无目标攻击.
本文专注于研究基于进化计算的路牌识别攻击有两个重要的原因:首先,这种攻击属于黑盒攻击,符合物理
世界中无法获得模型细节的真实情况,并且能够产生对环境具有较强鲁棒性的对抗扰动;其次,对于自动驾驶车
辆来说,当它的路牌识别系统受到攻击时,所引起的后果往往是灾难性的,因此,研究这种攻击有助于学习如何
进行防御.图 1 展示了 BPA-PSO 算法得到的能够成功攻击物理世界中路牌识别系统的对抗样本,从左到右分别
是禁止鸣笛的正常路牌图像、添加在正常路牌上的对抗扰动、在电子空间中添加扰动后的对抗路牌样本、在