Page 370 - 《软件学报》2024年第6期
P. 370

2946                                                       软件学报  2024  年第  35  卷第  6  期


                 样本和干净    OOD                               AT in   在检测  PGD  系列的攻击产生的对抗     OOD  样本的性
                               样本上相对较差的性能引起的. 此外,
                                                              out
                 能也明显差于     ACET、ATOM    和谛听. 相较于以上所有方法, 谛听克服了它们存在的不足, 不仅使用辅助的干净
                 OOD  样本和对抗的     OOD  样本, 也使用对抗    ID  样本作为辅助的     OOD  样本来训练    DNN, 这使得谛听在几乎不损
                 害原分类任务性能和检测干净           OOD  样本性能的前提下, 在保证        OOD  检测器鲁棒性任务上取得显著性的甚至是
                                                               o
                                                                                    in
                 压倒性的优势. 在表      4  中, 我们同样可以看到谛听的       MMSP 在各种攻击后与其         MMSP 的差异是最显著的, 更易
                 于区分   OOD  样本和  ID  样本.
                  4.2.2    不同的单个分布外测试集上的性能
                    第  4.2.1  节报告了谛听在由    6–7  种分布外测试数据集上的鲁棒性能, 本节进一步报告其在不同的单个分布外
                 测试集上的性能. 所选择的分布内数据集和模型分别是                  CIFAR10  及  WRN-40-4. 实验结果如表   5  所示  (比较参数
                               o
                 均为越大越好), D 表示各单独的分布外测试集的名称, 其他各指标的含义与表                       3  相同. 从表  5  的实验结果可以看
                 出, 谛听在每一种单独的分布外测试集上相较于已有方法均显示出了显著的鲁棒性能优势.

                                      表 5    在不同的单个分布外测试数据集上的检测性能 (%)

                                   Clean o    PGD o     CW o      APGD o     ACW o     APGD t    ACW t
                     D o   Method
                                 AUC TPR-95 AUC TPR-95 AUC TPR-95 AUC TPR-95 AUC TPR-95 AUC TPR-95 AUC TPR-95
                            SSL  97.45 91.16  61.15 07.29  0.10  0  0  0   0    0     0    0    0    0
                            ACET 96.90 90.15  96.58 90.15  96.60 90.15  5.87  3.80  15.04 10.43  0.65  0.17  0.62  0.19
                   Places365  ATOM 97.41 91.79  97.04 91.79  97.04 91.78  0  0  0  0  0    0    0    0
                              AT in out 90.16 52.42  72.12 10.05  73.91 12.87  71.50  9.20  72.54 10.39  69.45  6.39  70.57  7.00
                            Ours 97.55 92.37  96.55 92.37  96.55 92.37  96.16 91.70  96.27 91.85  94.42 81.05  95.33 86.52
                            SSL  99.09 97.25  80.20 61.70  0  0  0    0    0    0     0    0    0    0
                            ACET 99.14 97.74  98.75 97.74  98.84 97.74  6.35  3.45  23.69 16.28  1.38  0.09  1.43  0.09
                    SVHN   ATOM 99.87 99.53  99.37 99.53  99.37 99.53  0  0  0  0     0    0    0    0
                              AT in out 95.21 67.79  81.61 17.46  83.91 23.00  80.89 16.36  82.27 18.92  78.84 12.68  80.29 14.30
                            Ours 99.21 97.44  98.07 97.44  98.07 97.44  98.03 97.40  98.04 97.40  97.80 95.66  98.00 97.21
                            SSL  99.50 99.50  59.48  9.66  3.92  0.26  0  0  0  0     0    0    0    0
                                                                                     3.07
                            ACET 99.52 99.07  99.14 99.07 78.18 16.76                               0.72
                                                                                          0.78
                                                                                               2.60
                                                                     7.66
                                                                          31.46 23.00
                                                                11.80
                                                     99.20 99.07
                  LSUN (crop) ATOM 99.57 99.39  99.38 99.39  99.38 99.39  0.22  0  0.23  0  0.11  0  0.05  0
                              AT in out 98.10 88.91  90.32 52.87  91.32 56.35  89.79 51.08  90.37 53.17  88.56 47.05  89.20 48.57
                            Ours 99.56 99.29  98.38 99.29  98.38 99.29  98.33 99.25  98.33 99.26  98.19 98.23  98.25 98.80
                            SSL  99.63 99.17  28.32  0.32  0.08  0  0  0   0    0     0    0    0    0
                            ACET 99.10 97.46  98.51 95.76  98.50 95.91  9.70  7.58  16.21 12.97  0.42  0.19  0.33  0.13
                 LSUN (resize) ATOM 99.83 99.64  96.99 84.99  96.98 84.25  0.08  0  0.11  0  0.05  0  0.06  0
                            AT in          79.71 19.74  80.94 23.04  79.27 18.67  80.09 20.43  77.97 14.61  78.83 15.72
                               out 93.87 66.78
                            Ours 99.16 97.44  98.10 97.44  98.10 97.44  96.14 93.90  96.73 94.61  89.92 56.36  91.45 65.40
                            SSL  99.62 99.01  28.65  0.88  0.18  0  0.02  0  0.02  0  0    0    0    0
                            ACET 98.93 96.32  97.48 92.14  97.64 92.64  8.87  6.72  15.26 11.84  0.24  1.34  0.27  0.06
                    iSUN   ATOM 99.78 99.49  95.50 76.68  95.58 76.53  0.25  0  0.34  0  0.15  0  0.20  0
                            AT in          76.82 13.87          76.36 12.97  77.32 14.70  75.09  9.75  76.05 10.82
                               out 92.00 58.52
                            Ours 99.14 97.43  98.09 97.43  98.09 97.43  95.31 93.49  96.21 94.41  88.64 55.21  90.72 66.10
                            SSL  99.05 95.81  54.22 10.19  2.06  0.30  0.36  0.03  0.35  0.03  0.28  0.03  0.30  0.03
                            ACET 98.74 95.39  98.31 95.33  98.33 95.28  16.24 11.56  32.38 24.27  7.79  4.18  7.74  4.23
                   Textures  ATOM 99.53 98.03  98.94 97.37  98.95 97.39  1.89  0.49  1.97  0.53  1.97  0.44  2.01  0.49
                            AT in          85.41 34.11  87.11 37.19  84.91 32.89  86.13 35.03  83.65 30.70  84.81 32.12
                               out 94.82 64.48
                            Ours 98.68 95.26  97.66 95.27  97.66 95.27  97.39 94.66  97.47 94.87  96.50 87.93  97.07 92.66

                  4.3   消融实验
                    本节研究不同额外拒绝类数量、单独取消训练对抗                   ID  样本或者对抗    OOD  样本以及使用其他对抗        OOD  样
                 本搜索策略对     OOD  检测器鲁棒性的影响. 所选择数据集和模型分别是               CIFAR10  和  WRN-40-4.
   365   366   367   368   369   370   371   372   373   374   375