Page 186 - 《软件学报》2024年第6期

2762 软件学报 2024 年第 35 卷第 6 期

体, 所生成图像中的物体及其对应的语义标签可直接作为替换物体库. 如图 8 所示为使用 pix2pixHD 生成的图像
示例, 其中第 1、3 列为 Cityscapes 数据集中 4 张不同图像的语义分割标签, 第 2、4 列为 pix2pixHD 分别使用 4
张语义分割标签生成的场景图像.

语义分割标签1 pix2pixHD生成结果1 语义分割标签2 pix2pixHD生成结果2

图 8 使用 pix2pixHD 生成的图像示例
值越低表示两张图像越相似, 反之, 则差异越大. 为计算

3.3 测试数据质量度量
实验主要从两个方面评价测试数据的质量: 转向角预测的误导能力和与原始图像的接近程度.
3.3.1 转向角预测误导能力
考虑到驾驶员在相同场景做出的转向角判断也不会完全一致, 所以基于 CNN 的转向角预测模型在一定范围
内的误差不能被认为其预测结果出现错误. 实验中通过设置恰当阈值的方式判断测试数据是否触发了转向角预测
模型的错误行为: 当生成测试数据输入模型后的预测转向角与原始图像输入后的预测转向角之差 (以下称为误导
角度) 大于阈值, 则认为成功误导并触发了模型的错误行为. 为了检测以上错误行为, 实验沿用了文献 [5] 中测试
集对模型误导能力的指标 M 1 来度量其对模型的误导能力, 其具体计算方法如公式 (4) 所示.
′ x i 生成的
令 X = {x 1 , x 2 , x 3 ,...} 为原始测试集, x i ∈ X (1 ⩽ i ⩽ |X|) 为其中一条测试数据, x 为基于原始测试数据
i
测试数据, f (·) 为转向角预测模型根据所输入数据输出的预测结果, α 为误导角度阈值.
{
( ) }
′
x i |f x − f (x i ) > α,0 < i < |X|
i
M 1 = (4)
|X|
3.3.2 与真实图像的相似度
与真实图像的接近程度是指原始测试用数据添加扰动后所生成测试数据与原始测试数据的相似程度. 当原始
测试数据为从现实世界采集的真实图像时, 所生成的测试数据与原始测试数据越相似, 可认为测试数据越接近真
实图像.
学习感知图像块相似度 (LPIPS) [31] 可用以评价测试数据与原始测试数据的相似程度. LPIPS 通过小型神经网
络学习目标 DNN 模型中待评价图像和真实图像的距离到人类对其相似度评价的反向映射, 以评价待评价图像和
真实图像间的感知相似度. LPIPS 比 SSIM [32] , MSSIM [33] 和 FSIM [34] 等方法更符合人类对图像的感知情况. LPIPS
LPIPS 值, 首先将原始图像和待评价图像分别输入目标
DNN 模型并计算图像之间的距离 d; 然后用 d 作为特征训练一个用于预测图像间相似度的小型神经网络, 训练所
得神经网络的预测结果即为 LPIPS 值. 实验中使用预训练的 VGG 模型作为目标 DNN 模型, d 的具体计算方法如
公式 (5) [31] 所示.
1
( )

2
∑ ∑
l
d(x, x 0 ) =
w l ⊙ ˆy − ˆy l
(5)

hw
l H l W l h,w 0hw
2
令 l 为目标 DNN 模型中的一层, 首先将真实图像 x 和待评价图片 x 0 分别输入目标模型, H l 和 W l 分别为 l 层
特征堆栈的高度和宽度, 从 l 层提取特征堆栈 (feature stack) 并在通道维度中进行单位归一化 (unit-normalize) 得到
ˆ y l 和 ˆ y l ; 然后使用权重向量 w l 来放缩激活通道并计算 L 2 范数, 取平方后在特征堆栈的空间上求平均值, 并逐
hm 0hm