Page 189 - 《软件学报》2024年第6期
P. 189
谢瑞麟 等: IATG: 基于解释分析的自动驾驶软件测试方法 2765
的对象.
S1 (最大化误导能力): 根据物体总贡献度选择 3 个被替换物体, 及基于真实图像的物体替换策略.
S2 (最大化真实性): 根据物体平均贡献度选择 1 个被替换物体, 及基于图像翻译的物体替换策略.
分别按照 S1 和 S2 两种参数设置, 使用 IATG 和 IATG ran 进行实验. 实验结果如图 11 所示, 其中图 11(a) 为
d
α 值不同时, 两种方法在两种参数设置下所生成测试数据集成功误导目标 CNN 模型比例的柱状图; 图 11(b) 为两
种方法在两种参数设置时所生成测试数据集中所有图片的误导角度箱型图.
0.05 0.05
Avg Avg
Sum Sum
0.04 0.04
LPIPS 0.03 LPIPS 0.03
0.02 0.02
值和不同时, IATG
0.01 0.01
0 0
1 2 3 1 2 3
物体数量 物体数量
(a) 基于图像翻译的物体替换策略 (b) 基于真实图像的物体替换策略
图 10 不同策略和参数的 LPIPS 值对比
0.5
S1 α=5° 14 S1
S2 α=5° S2
0.4 12
S1 α=7°
S2 α=7°
10
S1 α=9°
0.3
S2 α=9° 8
M 1 误导角度
0.2 6
4
0.1
2
0 0
IATG IATG rand IATG IATG rand
测试数据生成方法 测试数据生成方法
(b) 总体误导角度
(a) M 1
图 11 不同测试数据生成方法的误导能力对比
由图 11(a) 可见, 在设置的策略和 α 方法均比 IATG ran 更能有效误导目标 CNN 模型. 其
d
中, 设置参数策略为 S1 和 S2 时, IATG 生成测试数据的成功误导比例比 IATG ran 分别高 2.1 倍和 1.9 倍. 实验结
d
果表明, 解释方法的引入提高了 IATG 对 CNN 模型的误导能力, 参数策略 S1 中替换物体数量为 3 个物体, 相比
S2 替换 1 个物体更能发挥解释方法能选择影响 CNN 模型决策重要物体的优势.
由图 11(b) 可见, 当参数设置不同时, IATG 所生成的测试数据集在整体上比 IATG ran 能导致更大的误导角
d
度. IATG 生成测试数据误导角度的中位数、上四分位数和上边缘均比 IATG ran 高 d 1 倍以上. 这表明引入了解释
方法的 IATG 能地误导待测 CNN 模型产生更大的误导角度.
针对 RQ2 的结论: 解释方法的引入提高了 IATG 对转向角预测模型的误导能力, 所生成测试数据的成功误导
比例和误导角度均高于随机选择被替换物体的方法.
