Page 75 - 《软件学报》2024年第4期

王帆 等: 局部一致性主动学习的源域无关开集域自适应 1653

开放类的能力的模型. 但是在严格的隐私保护限制和资源约束下, 对源域数据或源域模型进行修改设计和处
理的方法在实际场景下的通用性不足. 另外, Feng 等人 [15] 通过增加目标域模型参数来训练开放类, 但此工作
也在无形之间增加了时间和内存. 更重要的是, 现有的工作都关注于提高公共类的辨别能力, 但他们对于开
放类的检测性能差. 本文提出了一个新的场景: 主动学习的源域无关开集域自适应(active learning source free
open-set domain adaptation, ASF-ODA), 仅利用一个普通训练好的源域模型和少量通过专家标注的主动样本,
实现准确的公共类辨别和开放类检测.
ASF-ODA 是一个极具研究价值和挑战的问题, 其研究价值主要体现在以下 4 个方面.
(1) 满足严格的资源和隐私约束且通用性好. ASF-ODA 不需要所有的带标签的源域数据, 不需要操纵源
域数据, 也不需要设计和修改源域模型的结构;
(2) 减少时间和内存. ASF-ODA 不需要对生成的额外数据训练, 也不需要增加模型结构;
(3) 现实场景的实用性. 很多工作已经将主动学习的思想引入域自适应 [16−18] , 通过标注少量的有价值样
本来大幅度提升模型性能; 同时, 寻找领域专家对少部分样本进行标注十分合理, 比如在自动驾
驶 [19] 、语音识别 [20,21] 等;
(4) 标注代价小. 对公共类样本来说, 专家需要标注其所属的具体类别, 对所有类别的开放类样本来说,
专家只需要标注其属于开放类, 大大降低了专家标注的时间成本.
其研究挑战主要体现在以下两个方面.
(1) 当普通训练的源域模型难以准确地区分公共类和开放类时, 探索哪些样本对于促进公共类和开放
类分离是重要的?
(2) 如何利用挑选的主动样本实现进一步的公共类辨别和开放类检测?
为此, 我们提出了局部一致性主动学习(local consistency active learning, LCAL)算法来解决以上两个挑战.
针对问题(1), 本文发现, 挑选阈值模糊样本对于促进开放类和公共类分离是重要的. 阈值模糊样本指的
是相似的开放类和公共类样本, 这些样本由于相似具备相似的 理想的开放类分布
熵值, 从而难以被基于阈值的方式区分. 图 2 展示了开放类和
公共类样本潜在的分布情况(虚线表示分类边界), 其可以来解
释阈值模糊样本产生的原因. 对公共类样本而言, 其可以被分
为类似源域的公共简单类和远离源域的公共困难类 [22,23] . 以信
息熵为区分准则, 公共简单类(三角和方框)的样本远离分类边
界且具备低信息熵值, 公共困难类(圆形)的样本靠近分类边界 和公共困难类相似的开放
且具备高信息熵值. 对开放类样本而言, 理想的开放类样本(半 类分布（高信息熵值） 和公共简单类相似的
开放类分布 （低信息熵值）
弯月形)分布应该位于分类边界, 具备高信息熵值, 且和公共类
公共类 开放类
样本不相似. 但在现实情况下, 当开放类样本(菱形)和公共简
单类样本(方框)相似时, 或当开放类样本(半圆形)和公共困难 图 2 公共类和开放类样本分布分析
类样本(圆形)相似时, 这两种情况下的相似样本难以通过设定
阈值的方式被区分. 现有的主动学习方法也仅能区分部分阈值模糊样本. 基于不确定性的主动学习方法, 比
如信息熵 [24] 、置信度 [25] 等, 仅能探索部分具备高不确定性的相似样本. 基于多样性的主动学习方法, 比如
K-means、Corset [26] 等, 虽然可以关注到所有类别的信息, 但是他们挑选的样本量少, 难以有效地促进开放类
和公共类分离. 用目标域局部标签一致的特点, LCAL 提出了局部多样性选择. 从探索单个样本转向探索样本
局部, 从而获取到所有类别中更为全面的阈值模糊样本. LCAL 可以在有限的主动标记下扩充大量可信的标记
样本, 以分离开放类和公共类.
针对问题(2), 本文首先利用主动标注的局部区域的阈值模糊样本对潜在的公共类和开放类样本进行匹配
纠正, 从而得到更为可信的公共类和开放类样本集合; 然后, 通过引入信息最大化损失和开集损失, 本文迫
使模型分类器对公共类更加确定和对开放类更加不确定, 从而保证分离效果. 另外, 本文引入了交叉熵损失