Page 192 - 《软件学报》2024年第6期
P. 192
2768 软件学报 2024 年第 35 卷第 6 期
小于 20°的区域. 可以看出, 当误导角度相同时, DeepTest 所生成的测试数据与原始数据差距较大, 具有较高的
LPIPS 值, 而 IATG 和 semSensFuzz 则具有较低的 LPIPS 值.
0.40
DeepTest
IATG S1
0.35 IATG S2
semSensFuzz
0.30
LPIPS 0.25
0.20
0.15
0.10
0.05
0
0 10 20 30 40 50
误导角度
图 15 不同测试数据生成方法不同误导角度的 LPIPS 值
在 IATG 和 DeepTest 所生成测试数据中, 分别计算误导角度为 5º、15º、25º、35º和 45º (±1º) 测试数据的平
均 LPIPS 值, 结果如表 1 所示. 表 1 中的括号外的数值表示不同方法所生成的测试数据中为相应误导角度时的平
均 LPIPS 值, 括号内的数值为不同方法所生成的测试数据为相应误导角度的比例. 例如: 第 1 行第 1 列的 0.193 8
(10.02%) 表示 DeepTest 所生成测试数据中有 10.02% 误导角度为 (5±1)º, 且平均 LPIPS 值为 0.1938. 在表 1 中, 当
IATG 参数设置为 S2 时, 虽然没有生成误导角度恰好为 45º±1º的测试数据, 但其所生成测试数据的最大误导角度
可达 76.2º. 从表 1 可以看出, 当参数设置为 S1 和 S2 时, IATG 所生成测试数据的误导成功率略低于 DeepTest, 但
相同误导角度的平均 LPIPS 值不到 DeepTest 的 22.5%. 这表明在误导角度相同时, IATG 所生成测试数据比
DeepTest 更加接近真实图像. 尽管 IATG 在相同误导角度的平均 LPIPS 值高于 semSensFuzz, 但其误导成功率远
高于 semSensFuzz, IATG 在参数设置为 S1 和 S2 时误导成功率分别为 semSensFuzz 的 4.8–37 倍和 1.9–7 倍.
相同. 将此方法生成的
表 1 不同方法生成相同误导角度测试数据的平均 LPIPS 值
误导角度
测试数据生成方法
5º±1º 15º±1º 25º±1º 35º±1º 45º±1º
DeepTest 0.193 8 (10.02%) 0.199 5 (2.78%) 0.198 0 (1.15%) 0.205 7 (0.61%) 0.210 4 (0.40%)
semSensFuzz 0.004 9 (2.41%) 0.007 8 (0.16%) 0.011 1 (0.05%) 0.012 5 (0.01%) 0.005 4 (0.03%)
IATG (S1) 0.034 7 (11.47%) 0.044 8 (2.51%) 0.031 5 (0.97%) 0.032 2 (0.36%) 0.041 8 (0.16%)
IATG (S2) 0.009 5 (4.53%) 0.013 0 (0.78%) 0.016 0 (0.10%) 0.043 3 (0.07%) -
semSensFuzz 改变物体颜色方法可在较低的 LPIPS 值下达到较高的误导角度, 但缺乏有针对性的物体选择方
法使其误导成功率很低. 为探究 IATG 基于解释分析的重要物体选择方法是否能提高 semSensFuzz 的误导能力,
我们使用 IATG 基于解释分析的方法帮助 semSensFuzz 选择重要物体, 再改变颜色以生成测试数据, 其中重要物
体选择方法的参数设置与 S2 6 690 张测试数据与原 semSensFuzz 方法所生成测试数据的
M 1 指标及误导角度进行了对比, 实验结果如图 16 所示. 在引入 IATG 基于解释分析的重要物体选择方法后, 对于
不同误导角度, semSensFuzz 的 M 1 指标提高了 1.45 倍至 1.61 倍, 总体误导角度的平均值提高了 1.29 倍. 这表明
IATG 的重要物体选择方法有效提高了 semSensFuzz 的转向角误导能力.
针对 RQ3 的结论: 与 DeepTest 相比, 在误导角度相同时, IATG 所生成测试数据更接近原始真实图像, LPIPS
值不到 DeepTest 的 22.5%. 与 semSensFuzz 相比, 在相同误导角度时, 尽管 IATG 生成测试数据 的平均 LPIPS 值
更高, 但总体误导角度的平均值和误导成功率分别比 semSensFuzz 高至少 4.8 倍和 1.9 倍. 此外, IATG 的重要物体
选择方法可有效提高 semSensFuzz 生成测试数据的误导能力.