Page 333 - 《软件学报》2025年第7期

3254 软件学报 2025 年第 36 卷第 7 期

labels (PLs) and consistent regularization (CR), are used to augment and annotate data in the observed domain for learning the classifier.
Consequently, the classifier can obtain better generalization performance in the tasks of UDA. This study proposes augmentation-based
UDA (A-UDA), in which the unannotated data in the target domain are augmented by random augmentation, and the high-confident data
are annotated by adding pseudo-labels based on the predicted output of the model. The classifier is trained on the augmented data set. The
distribution distance between the source domain and the target domain is calculated by using the maximum mean difference (MMD). By
minimizing this distance, the classifier achieves high generalization performance. The proposed method is evaluated on multiple UDA
tasks, including MNIST-USPS, Office-Home, and ImageCLEF-DA. Compared to other existing methods, it achieves better performance on
these tasks.
Key words: unsupervised domain adaptation (UDA); semi-supervised learning (SSL); data augmentation; pseudo label (PL); consistent
regularization (CR)

近年来, 深度学习在视觉对象分类、识别与检测、自然语言处理、语义分析以及生物信息挖掘等多种现实任
务中取得了重要进展. 这类学习任务的特点是, 需要预先收集大量带有详细语义标注信息的数据作为训练集, 使用
大规模训练样本对多层卷积网络等模型进行训练. 同时, 使用部分来自相同任务的标注样本对超参数进行调整, 直
至模型精度提高或错误率降低到指定阈值为止. 当训练停止后, 将所学习的模型用于对测试集中的样本进行预测,
获得预测结果. 通常, 所收集的训练集和测试集中的数据来自相同的学习任务, 即数据具有相同的分布信息. 然而,
在某些情况下, 深度学习难以获得大量来自相同任务的标注数据, 但可以收集到类似任务的一组标注样本用于训
练, 即训练数据和测试数据的分布信息不同的条件下学习一个深度网络, 即域适应任务 [1] . 特别地, 当训练数据含
有标注信息, 而测试数据缺少标注信息时, 也称为无监督域适应任务.
目前, 无监督域适应的研究工作 [2−8] 可被分为两个趋势, 即基于源域和目标域之间距离最小化的域适应策略和
基于源域和目标域之间样本生成的域适应策略. 这里, 在第 1 种趋势中, 大部分研究工作通过设计距离或度量函数 [9−14]
来衡量源域和目标域的分布差异, 在训练过程中, 将这种差异与分类器损失函数相结合, 逐步最小化这一差异, 从
而, 克服数据偏置, 获得分类器泛化性能最大化. 例如, 在文本语义识别中常见的对齐技术 [15,16] , 矩匹配 [13,14] 方法,
以及自解码器中的隐空间等. 在第 2 种趋势中, 研究人员则利用域判别器 (domain discriminator) 对源域和目标域
中的样本进行区分 [3,16−23] , 在训练过程中, 生成部分特征用于混淆域判别器, 最小化两个数据域之间的样本差异, 达
到使分类器性能提升的目的. 另外, 在生成特征的过程中, 也有部分研究工作将模型在目标域上的预测结果引入到
训练过程中 [12,24−34] , 希望能够保持数据域中的结构以及类别信息等. 但是, 这类做法对目标域上预测结果的准确度
要求较高, 如果模型预测结果与真实标注差距较大, 则会对模型训练过程产生负面影响, 降低分类器的泛化性能.
本文在现有无监督域适应研究工作的基础上, 将此任务视作是在部分样本有标注、其余样本无标注条件下的
半监督学习问题, 然后, 引入了半监督学习中的两种数据扩增技术, 即用于样本扩增的一致性正则化 (consistent
regularization, CR) 技术和用于标注扩增的伪标签 (pseudo label, PL) 技术, 对有标注的源域和无标注的目标域中的
数据进行扩增, 在生成后的数据集上对分类器进行训练. 这里, 在一致性正则化过程中, 使用了随机数据增强技术
(random augmentation) 对目标域中的未标注样本进行样本扩增; 在添加伪标签过程中, 利用了分类模型的预测结
果, 为高置信度的未标注样本添加伪标记来进行标记扩增. 在训练过程中, 使用了最大均值差异 (maximum mean
difference, MMD) 计算源域和目标域的分布距离, 通过最小化该分布距离达到分类器泛化能力最大化的目的. 在
图 1 中, 本文给出了基于扩增技术的无监督域适应方法的框架图.

源域
有标签数据
数据扩增 最小化
分布距离
目标域 标记扩增
无标签数据
样本扩增

图 1 基于扩增技术的无监督域适应方法框架