Page 198 - 《软件学报》2021年第11期

3524 Journal of Software 软件学报 Vol.32, No.11, November 2021

从图 5 可以看出,所有的模型都表现出相同的趋势:随着分组数量 N 的增加,压缩过程中需要进行交互的查
询次数也线性增加,并且最终优化后的扰动幅度更小.同时,在所有的分组数量下,基于不同模型进行 AM-Com
压缩优化的结果都比 Whey 和 Random 这两种基线策略效果更好.另一方面,与表 4 的结论类似,由于不同模型的
热力图存在差别,导致黑盒优化会稍差于白盒优化的效果,其中,基于热力图相似性最低的 Vgg-16 模型进行优
化,结果最差;反之,Res-50 模型(红色曲线)为白盒优化,因此各分组数量下都表现出最优的效果.该实验进一步验
证了 AM-Com 的有效性.为了较好地权衡交互查询次数和扰动幅度,本文选择 N=100 作为最优的分组数量.
• AM-Com 方法的有效性分析
不同于 Whey 和 Random 策略,AM-Com 基于分类模型的热力图对扰动进行分组,考虑了注意力机制与冗余
信息的内在联系,以此获取更好的压缩优化效果.本文将扰动的 L 2 密度(density of perturbation,简称 DoP)定义为
区域内单位像素的扰动幅度,公式表示如下:
Dop(i)=||δ′[i]|| 2 /|δ′[i]| (12)
其中,δ′[i]是根据分组策略将扰动数据划分到第 i 组的集合.DoP 值反映了该区域内扰动的密集程度,该值越大,
则说明扰动在该区域内越集中.
图 6 展示了 Vgg-16、Inc-v3、Res-50 和 Res-101 这 4 种模型对扰动结果进行分组后的平均 DoP 分布.其中,
横轴为根据热力图数值分组的索引,索引越大,则该组区域的关注程度越高;纵轴为各组对应的 DoP 值,绿色和
红色区域分别为使用 AM-Com 方法进行压缩前后的扰动密度.根据图 6 分析,可以得出以下结论.
(1) ES-Attack 方法生成的扰动(绿色区域)在关注度最低和最高的区域都呈现出高密度趋势,可以推测出,
修改图像对应区域的数据会对模型的预测结果产生较大影响.
(2) 经过 AM-Com 方法压缩优化后的扰动(红色区域)在关注度最低和最高的区域的 DoP 值显著降低,该
结果证明了这些区域中存在着更多的冗余扰动;同时,观察图 1 和图 2 的可视化结果可以得出相同的
结论,验证了 AM-Com 压缩方法的有效性.
(3) 优化后的扰动在高关注度区域的 DoP 值依然高于其他区域;反之,低关注区域的 DoP 值已经低于绝大
多数区域,进一步证明了注意力机制与对抗样本扰动密切相关,即,对关高注度区域的数据添加扰动
会产生更大的影响.

Fig.6 Distribution of average DoP based on four different models
图 6 4 种不同模型的平均 DoP 分布