Page 100 - 《软件学报》2024年第4期
P. 100
1678 软件学报 2024 年第 35 卷第 4 期
表 3 OTA 方法的消融实验(%)
OTA 组件 分布偏移程度=3 分布偏移程度=5
自适应熵损失 开集熵损失 Close-set Acc AUROC OSCR Close-set Acc AUROC OSCR
− − 79.24 73.94 64.50 69.33 67.71 53.44
√ − 83.03 77.71 69.80 78.61 73.89 63.94
√ √ 82.14 80.15 70.88 77.59 75.70 64.39
4.5 其他讨论
• 超参数鲁棒性
OTA 方法在选择置信的已见类样本集合 D t Kn 与未见类样本集合 D t OS 分别使用超参数α, δ. 在本文的所有
实验中, 我们将 OTA 方法的超参数统一设置为α=0.9, δ=0.3, 证明了 OTA 方法的超参数值设置对于具体数据
集不敏感. 图 5 分别展示了超参数α在{0.85,0.86,0.87,0.88,0.89,0.90,0.91,0.92,0.93,0.94}间取值、超参数δ在
{0.25,0.26,0.27,0.28,0.29,0.30,0.31,0.32,0.33,0.34}间取值的性能表现. 图 5 中的结果表明: OTA方法对于超参数
值的设置鲁棒, 即使超参数α, δ在本文推荐值周围扰动, OTA 方法的性能也不会受到大幅影响.
图 5 超参数鲁棒性分析
• 特征可视化
为了判断 OTA 方法是否有效地使模型适应于变化的协变量分布, 我们将 MLS 方法、Proser 方法与本文
所提的 OTA 方法的特征表示使用 T-SNE 算法在图 6 中进行可视化. 由于 MLS 方法与 Proser 方法并未对模型
及时更新, 它们在面对协变量分布偏移时, 未见类样本与已见类样本混合严重; 同时, 不同已见类样本间也
混合严重. 本文所提 OTA 方法的特征表示的判别能力明显更优, 已见类别分布在表示空间的不同区域; 同时,
已见类与未见类样本间也有明显界限. 这证明本文所提 OTA 方法能够有效地更新模型, 使其适应于变化的协
变量分布.
图 6 MLS 方法、Proser 方法与 OTA 方法的特征表示可视化
• 运行时间
我们进一步研究了 OTA 算法与对比方法的运行时间. 在表 4 中, 我们展示了基线开集识别算法 MLS, 测
试时适应算法 Tent, LAME 与 CoTTA 和本文所提算法 OTA 在预测一种协变量分布偏移情形下全部样本的运
