Page 187 - 《软件学报》2024年第6期
P. 187
谢瑞麟 等: IATG: 基于解释分析的自动驾驶软件测试方法 2763
层求和.
3.4 RQ1 实验结果分析
为了研究不同参数设置对 IATG 误导能力的影响, IATG 首先使用解释方法获取热图并使用平均贡献度和总
贡献度两种策略来选择被替换的重要物体, 然后使用基于真实图像和基于图像翻译的两种策略来替换所选择的重
要物体. 实验评价了对于不同误导角度阈值 α, IATG 所生成测试数据的误导能力 M 1 及 LPIPS 值. 其中误导角度
α 分别设置为 5°、7°和 9°. 假设某车身宽 1.8 m 的自动驾驶汽车以 50 km/h (常见城市道路限速) 的速度在
阈值
3.5 m 宽的车道中央行驶. 当转向角预测模型产生 5°、7°和 9°的转向角预测误差时, 将分别在 0.7 s、0.5 s 和 0.4 s
内使车辆偏离车道中心线并越过车道边界. 而人类驾驶员发现异常并采取转向角修正或车辆制动等措施进
[35]
行干预的反应时间为 0.7 s 至 2.3 s . 因此, 当出现以上转向角偏差时, 驾驶员将很难及时做出反应并采取干预措施.
两种物体替换策略在第 4.2 节进行了详细介绍. 物体平均贡献度和物体总贡献度是指使用解释方法获取热图
K sum . 通过两种不同的重要性值计算方式计算图像中所有物体的贡献度, 并进
后, 分别计算的物体重要性值 K avg 和
行排序, 选取排名靠前且物体的长和宽不小于 50 像素的物体作为待替换物体. 所选择的物体是对模型转向角预测
造成较大影响的物体, 因此不选择面积过小的物体.
不同参数设置和策略下的误导能力对比实验结果如图 9 所示. 图 9 中, 纵轴为触发错误的测试数据占所有测
试数据的比例, 横轴为替换物体数量. 图 9(a)、图 9(b) 和图 9(c) 为使用基于图像翻译的物体替换策略, 图 9(d)、
图 9(e) 和图 9(f) 为使用基于真实图像的物体替换策略, 其中 α 代表评价指标 M 1 的误导角度阈值 (误导角度大于
阈值则认为触发错误). 图 9 中 Avg 表示使用物体平均贡献度 ( K avg ) 选择物体, Sum 代表使用物体总贡献度 ( K sum )
选择物体.
0.5 0.5
Avg Avg
Sum Sum
0.4 0.4
0.3 0.3
M 1 M 1
0.2 M 1
0.2
0.1 0.1
0 0
1 2 3 1 2 3
物体数量 物体数量
(a) 基于图像翻译的物体替换策略 (α=5°) (b) 基于图像翻译的物体替换策略 (α=7°)
0.5 0.5
Avg Avg
Sum Sum
0.4 0.4
0.3 0.3
M 1
0.2 0.2
0.1 0.1
0 0
1 2 3 1 2 3
物体数量 物体数量
(c) 基于图像翻译的物体替换策略 (α=9°) (d) 基于真实图像的物体替换策略 (α=5°)
图 9 不同策略和参数生成测试数据误导能力对比