Page 184 - 《软件学报》2024年第6期

2760 软件学报 2024 年第 35 卷第 6 期

图像中提取真实物体并与其语义标签一同组成替换物体库, 以供物体替换使用.
使用此策略提取物体可保证其真实性和语义一致性, 但无法保证物体形状轮廓与原始物体的一致性, 直接使用
所提取的物体进行替换可能出现无法完全覆盖原始物体区域的情况. 因此, 在使用真实图像提取的物体进行物体替
换时, 需要先将原始物体从原始图像中删除, 并使用内容识别填充技术将物体删除后的区域填充为周边背景, 然后
再使用真实图像提取的物体进行物体替换. 如图 5 所示为使用真实图像提取的物体进行物体替换的流程示例.

原始图像 删除物体 内容识别填充 物体替换
图 5 使用真实图像提取的物体进行物体替换

2.2.3 基于图像翻译的物体替换
中基于图像翻译的物体替换策略使用
图像翻译是指从一副图像到另一副图像的转换 [27] , 类似机器翻译将一种语言转换为另一种语言的过程.
pix2pix [28] 、CRN [29] 和 pix2pixHD [30] 等典型的图像翻译方法具有将语义分割标签转换为接近真实街景的图像、灰
色图像转换为彩色图像、白天照片转换为黑夜等能力. 其中, pix2pixHD 甚至可将详细标注的语义分割标签直接
翻译为接近真实图像的场景. 基于图像翻译的物体替换过程中, 把原始图像的语义分割标签输入图像翻译工具, 将
语义分割标签翻译为与其对应图像, 所生成的图像中即包含了与待替换物体的轮廓、位置和语义相同的物体, 将
其提取并与其语义标签一同组成替换物体库. 使用此策略提取的物体虽然不是真实物体, 但其形状轮廓与原始物
体完全一致, 可以直接进行替换. 使用此策略所生成物体的质量取决于图像翻译工具的有效性. 如图 6 所示为使用
图像翻译工具生成的物体进行替换的流程示例.

原始图像 语义分割标签 图像翻译 物体替换
图 6 使用图像翻译工具生成的物体进行物体替换

3 实验设计与结果分析

3.1 实验设计
实验将重点关注自动驾驶软件决策模块中的转向角预测模型. 英伟达 DAVE [13] 自动驾驶架构被广泛用于构建
转向角预测模型 [5−7] , 实验对象采用使用该架构的预训练模型 (Steering angle visualizations, https://github.com/
jacobgil/keras-steering-angle-visualizations). 实验使用 Cityscapes 数据集 [14] 的训练集作为原始图像集, 其中包含了 3 475
张真实图像. IATG pix2pixHD 作为图像翻译工具, pix2pixHD 发布的预训练
模型和开源代码使用 Cityscapes 数据集训练预训练模型. 为确保图像翻译工具的有效性, 实验将 Cityscapes 作为
实验数据集. 实验过程中将 IATG 生成的测试数据输入目标模型获取预测结果, 并对所生成测试数据的质量进行
评价. 所有测试都在 32 GB RAM、AMD 3700X 8-Core Processor 和英伟达 RTX 3070Ti GPU 的计算机上完成.
本文通过以下研究问题来验证所提出自动驾驶测试数据生成方法的有效性.
RQ1: 不同物体选择策略、替换策略、替换物体数量如何影响 IATG 生成测试数据的误导能力和学习感知图
像块相似度 (learned perceptual image patch similarity, LPIPS) [31] ?
RQ2: 是否使用解释方法, 对 IATG 生成测试数据误导能力的影响如何?