Page 90 - 《软件学报》2024年第4期

1668 软件学报 2024 年第 35 卷第 4 期

Comprehensive experiments are conducted on multiple benchmark datasets with different covariate shift levels. The results show that the
proposal is robust to covariate shift and demonstrates superior performance compared to many state-of-the-art methods.
Key words: open-set recognition; test-time adaptation; distribution shift; image classification; streaming data

[2]
[1]
近年来, 随着机器学习技术的发展, 深度学习方法在诸多领域取得显著成效, 在图像分类 、语音识别 、
[4]
[3]
文本翻译 、商品推荐 等任务中得到广泛应用. 传统深度神经网络(deep neural network, DNN)依赖于封闭世
界假设, 即训练数据与测试数据的类别空间相同. 然而, 在开放环境中, 测试数据可能包含训练数据里从未见
过类别的样本, 使得上述假设难以成立. 现有研究 [5−9] 发现: 模型面对未见类别样本时, 往往以高置信度将其
错误分类为已见类别, 为深度模型部署于真实应用带来潜在风险. 例如: 在自动驾驶任务 [10] 中, 有限的训练
数据难以覆盖自动驾驶汽车在开放世界中所面对的全部情形, 模型对未知情形做出的错误预测可能会导致严
重的车祸, 危及人民生命财产安全. 因此, 在测试阶段赋予模型识别未见类别样本的能力, 是机器学习模型能
够在开放环境中安全、稳定部署的重要问题.
开集识别(open-set recognition, OSR) [6,11,12] 旨在正确地分类已见类别样本, 同时, 准确地识别并拒绝未见
类别样本. 近年来, 此领域涌现出大量的基于深度学习模型的研究工作, 可以分为判别式方法与生成式方法
两种: 判别式方法利用 SoftMax 层输出的概率分布 [13] 、OpenMax 层输出的概率分布 [14] 、样本在表示空间内的
距离 [15,16] 等信息显式地建模样本属于未见类别的概率; 生成式方法通常利用自编码器(auto-encoder, AE) [17] 、
[5]
生成对抗网络(generative adversarial network, GAN) 、迪利克雷过程(Dirichlet process, DP) [18] 等技术对样本进
行重构, 并利用重构误差来度量样本属于为未见类别的概率. 这些工作利用了已见类别的数据分布在训练数
据与测试数据之间保持不变的假设, 有效地提升了深度学习模型的开集识别能力.
尽管大量研究有效地提升了深度学习模型的开集识别能力, 但是他们未考虑到已见类别的协变量分布在
实际场景中将连续变化, 限制了这些算法在更多现实任务中的应用. 例如: 在自动驾驶任务 [10] 中, 摄像头捕
捉到图像数据分布(即协变量分布)将随着汽车所处环境的时间、天气、地理位置等因素改变 [19,20] . 在这种情况
下, 理想的开集识别模型即使面对协变量分布偏移也应稳健地分类已见类别并识别未见类别. 据此, 我们提
出一个新颖的问题设置: 开放世界适应问题(adaptation in the open world, AOW). 在此问题中, 利用已见类别
样本训练得到的模型将被部署到持续变化的测试环境中. 与开集识别问题相同, 在开放世界适应问题中, 模
型在测试阶段将遇到未见类样本, 模型准确分类已见类样本的同时, 还需识别未见类样本; 与开集识别问题
不同, 开放世界适应问题在测试阶段面临已见类样本协变量分布变化的问题, 使模型分类已见类别、识别未
见类别的性能均严重退化. 因此, 适用于开放世界适应问题的模型一方面需要正确分类已见类别样本, 同时,
准确识别并拒绝未见类别样本, 防止模型对未见类别样本产生错误的预测; 另一方面, 此模型还需要不断适
应于变化的协变量分布, 防止模型性能显著退化. 图 1 直观地展示了开放世界适应问题的具体设置. 后文图 2
所展示的结果证明: 一旦协变量分布发生偏移, 既有方法分类已见类别、识别未见类别的能力都会显著下降,
其性能表现甚至劣于基线方法. 因此, 如何使开集识别模型适应动态变化的协变量分布, 是一个有价值且极
具挑战的问题.

图 1 开放世界适应问题设置示意图
测试时适应(test-time adaptation, TTA)是一类解决协变量分布偏移的有效技术, 其在测试阶段仅利用无标
注测试样本使模型的预测结果对协变量分布偏移更稳健. 现有工作可以分为优化模型参数 [21−23] 与调整模型预