Page 370 - 《软件学报》2024年第6期

2946 软件学报 2024 年第 35 卷第 6 期

样本和干净 OOD AT in 在检测 PGD 系列的攻击产生的对抗 OOD 样本的性
样本上相对较差的性能引起的. 此外,
out
能也明显差于 ACET、ATOM 和谛听. 相较于以上所有方法, 谛听克服了它们存在的不足, 不仅使用辅助的干净
OOD 样本和对抗的 OOD 样本, 也使用对抗 ID 样本作为辅助的 OOD 样本来训练 DNN, 这使得谛听在几乎不损
害原分类任务性能和检测干净 OOD 样本性能的前提下, 在保证 OOD 检测器鲁棒性任务上取得显著性的甚至是
o
in
压倒性的优势. 在表 4 中, 我们同样可以看到谛听的 MMSP 在各种攻击后与其 MMSP 的差异是最显著的, 更易
于区分 OOD 样本和 ID 样本.
4.2.2 不同的单个分布外测试集上的性能
第 4.2.1 节报告了谛听在由 6–7 种分布外测试数据集上的鲁棒性能, 本节进一步报告其在不同的单个分布外
测试集上的性能. 所选择的分布内数据集和模型分别是 CIFAR10 及 WRN-40-4. 实验结果如表 5 所示 (比较参数
o
均为越大越好), D 表示各单独的分布外测试集的名称, 其他各指标的含义与表 3 相同. 从表 5 的实验结果可以看
出, 谛听在每一种单独的分布外测试集上相较于已有方法均显示出了显著的鲁棒性能优势.

表 5 在不同的单个分布外测试数据集上的检测性能 (%)

Clean o PGD o CW o APGD o ACW o APGD t ACW t
D o Method
AUC TPR-95 AUC TPR-95 AUC TPR-95 AUC TPR-95 AUC TPR-95 AUC TPR-95 AUC TPR-95
SSL 97.45 91.16 61.15 07.29 0.10 0 0 0 0 0 0 0 0 0
ACET 96.90 90.15 96.58 90.15 96.60 90.15 5.87 3.80 15.04 10.43 0.65 0.17 0.62 0.19
Places365 ATOM 97.41 91.79 97.04 91.79 97.04 91.78 0 0 0 0 0 0 0 0
AT in out 90.16 52.42 72.12 10.05 73.91 12.87 71.50 9.20 72.54 10.39 69.45 6.39 70.57 7.00
Ours 97.55 92.37 96.55 92.37 96.55 92.37 96.16 91.70 96.27 91.85 94.42 81.05 95.33 86.52
SSL 99.09 97.25 80.20 61.70 0 0 0 0 0 0 0 0 0 0
ACET 99.14 97.74 98.75 97.74 98.84 97.74 6.35 3.45 23.69 16.28 1.38 0.09 1.43 0.09
SVHN ATOM 99.87 99.53 99.37 99.53 99.37 99.53 0 0 0 0 0 0 0 0
AT in out 95.21 67.79 81.61 17.46 83.91 23.00 80.89 16.36 82.27 18.92 78.84 12.68 80.29 14.30
Ours 99.21 97.44 98.07 97.44 98.07 97.44 98.03 97.40 98.04 97.40 97.80 95.66 98.00 97.21
SSL 99.50 99.50 59.48 9.66 3.92 0.26 0 0 0 0 0 0 0 0
3.07
ACET 99.52 99.07 99.14 99.07 78.18 16.76 0.72
0.78
2.60
7.66
31.46 23.00
11.80
99.20 99.07
LSUN (crop) ATOM 99.57 99.39 99.38 99.39 99.38 99.39 0.22 0 0.23 0 0.11 0 0.05 0
AT in out 98.10 88.91 90.32 52.87 91.32 56.35 89.79 51.08 90.37 53.17 88.56 47.05 89.20 48.57
Ours 99.56 99.29 98.38 99.29 98.38 99.29 98.33 99.25 98.33 99.26 98.19 98.23 98.25 98.80
SSL 99.63 99.17 28.32 0.32 0.08 0 0 0 0 0 0 0 0 0
ACET 99.10 97.46 98.51 95.76 98.50 95.91 9.70 7.58 16.21 12.97 0.42 0.19 0.33 0.13
LSUN (resize) ATOM 99.83 99.64 96.99 84.99 96.98 84.25 0.08 0 0.11 0 0.05 0 0.06 0
AT in 79.71 19.74 80.94 23.04 79.27 18.67 80.09 20.43 77.97 14.61 78.83 15.72
out 93.87 66.78
Ours 99.16 97.44 98.10 97.44 98.10 97.44 96.14 93.90 96.73 94.61 89.92 56.36 91.45 65.40
SSL 99.62 99.01 28.65 0.88 0.18 0 0.02 0 0.02 0 0 0 0 0
ACET 98.93 96.32 97.48 92.14 97.64 92.64 8.87 6.72 15.26 11.84 0.24 1.34 0.27 0.06
iSUN ATOM 99.78 99.49 95.50 76.68 95.58 76.53 0.25 0 0.34 0 0.15 0 0.20 0
AT in 76.82 13.87 76.36 12.97 77.32 14.70 75.09 9.75 76.05 10.82
out 92.00 58.52
Ours 99.14 97.43 98.09 97.43 98.09 97.43 95.31 93.49 96.21 94.41 88.64 55.21 90.72 66.10
SSL 99.05 95.81 54.22 10.19 2.06 0.30 0.36 0.03 0.35 0.03 0.28 0.03 0.30 0.03
ACET 98.74 95.39 98.31 95.33 98.33 95.28 16.24 11.56 32.38 24.27 7.79 4.18 7.74 4.23
Textures ATOM 99.53 98.03 98.94 97.37 98.95 97.39 1.89 0.49 1.97 0.53 1.97 0.44 2.01 0.49
AT in 85.41 34.11 87.11 37.19 84.91 32.89 86.13 35.03 83.65 30.70 84.81 32.12
out 94.82 64.48
Ours 98.68 95.26 97.66 95.27 97.66 95.27 97.39 94.66 97.47 94.87 96.50 87.93 97.07 92.66

4.3 消融实验
本节研究不同额外拒绝类数量、单独取消训练对抗 ID 样本或者对抗 OOD 样本以及使用其他对抗 OOD 样
本搜索策略对 OOD 检测器鲁棒性的影响. 所选择数据集和模型分别是 CIFAR10 和 WRN-40-4.