Page 338 - 《软件学报》2025年第7期

曹艺 等: 融合扩增技术的无监督域适应方法 3259

 ( )
t
 t
 ˆ y , if max ˆ y > β
t  j j (8)
j 
ˆ y = 
0, others

在实验部分, 本文说明了通过设定阈值的方式, 选择高置信度的样本添加伪标签和加入训练过程, 可以有效地
利用源域上的数据信息, 有效提升目标域上分类器的各项性能. 随着分类器训练次数的增加, 可以有效提高扩增数
据的标记质量, 加快目标域上分类器的收敛速度.

2.3 基于一致性正则化的样本扩增
本节给出了如何基于一致性正则化技术对目标域中的样本进行扩增. 一致性正则化是通过对输入数据添加扰
动的方式, 强制添加扰动后的数据与原始数据的预测输出结果保持一致, 目的是使分类器具有更好的抗干扰能力,
而不需要依赖具体的标记信息. 因此, 本文采用此方式对目标域中的部分数据进行扩增, 并结合第 2.2 节中标记扩
增的部分, 共同达到增加目标域中有效训练样本的数量、更好的迁移分类模型的目的.
t
a
t
x
ˆ y
给定目标域中任意样本 x , 通过增强技术可以得到添加扰动后的样本 . 同时, 可以得到此样本的软标记 ,
j j j
a
a
ˆ y
以及添加扰动后的样本 x 所对应的软标记 . 在实际任务中, 为了能够使目标域中样本对应的预测结果更具有区
j j
分度, 本文使用了锐化预测 (sharpening predictions) 技术对样本的软标记进行锐化处理, 锐化后的软标签 ˆ y t (sharp) 可
j
通过下式计算得到:

t (sharp) exp(v a /τ)
ˆ y j = (9)
k ∑
exp(v b /τ)
b=1
其中, k 表示任务对应的类别数目. τ 为锐化参数, 其值越小, 则锐化结果 ˆ y t (sharp) 越集中. 本文设置 τ = 0.4 v . 表示深度
j
{ } { } n t
神经网络的输出结果, 其中, v a 和 v b 分别是向量 v 中的第 a 个和第 b 个分量的值. 设 ˆ Y t (sharp) = ˆy t (sharp) n t 和 ˆ Y = ˆy a
a
j j=1 j j=1
分别表示经过锐化处理后的目标域样本软标记和扩增后样本的软标记, 则一致性正则化损失 L t 可通过下式计算:

( ) 1 B ∑ ( ( ) ) t (sharp) ( )
t
L t = L t Y ˆ t (sharp) , ˆ Y a = − I max ˆy > β ˆy log ˆy a (10)
|B| j j j
j=1
其中, I (·) 为指示函数, 结合第 2.2 节中的伪标记技术, 仅选择高置信度的样本所对应的软标记参与计算. B 代表参
与一致性正则化损失计算的目标域样本数目. 在实际任务中, 本文采用了随机数据扩增 (random augment) 的方式
对目标域中的样本添加扰动. 值得注意的是, 虽然本文采用了随机数据扩增的方式对图像样本进行了扩增, 然而,
在实际场景下, 可以采用其他样本扩增方式. 例如: 在小样本学习任务中, 可以采用生成对抗网络等其他样本生成
技术根据源域与目标域域间的差异生成相应的样本等.

2.4 基于扩增技术的无监督域适应方法
在无监督域适应任务中, 源域和目标域分别包含了标记样本和无标记样本, 且源域和目标域中的数据分布不
同. 无监督域适应工作是通过减少源域样本和目标域样本的分布差异, 将源域上预训练的分类器迁移到目标域中,
提高分类器在目标域上的性能, 获得较高的准确率. 在现有无监督域适应工作的基础上, 本文将两种半监督技术引
入到域适应方法中, 即通过伪标注的方式进行标注扩增和通过一致性正则化的方式进行样本扩增. 利用扩增后的
样本和标注信息拉近源域和目标域之间的距离, 即减少两者之间的损失差异, 获得更快更好的分类训练效果. 优点
是不需要在现有深度神经网络的结构中补充任何模块, 简单明确地反映了目标域上分类的损失. 所提出的无监督
域适应方法的过程简要概括如下.
(1) 在源域上, 利用标记样本训练分类器, 利用这一分类器对目标域中的未标注样本进行预测;
(2) 在目标域上, 使用伪标记和一致性正则化方式对样本及其标记进行扩增, 并使用扩增后的标记样本对网络
进行训练. 在这个过程中, 选择高置信度的样本及其标记参与目标域上损失计算;
(3) 在目标域上, 保留原有的基于 MK-MMD 的无监督域适应损失, 用于衡量源域和目标域上样本之间的分布
差异;