Page 341 - 《软件学报》2025年第7期
P. 341

3262                                                       软件学报  2025  年第  36  卷第  7  期


                 3.1.2    实验设置
                    MNIST↔USPS: 在  USPS  和  MNIST  数据集上评估两种域适应场景. MNIST        数据集分为    60 000  张训练图像和
                 10 000  张测试图像, 而  USPS  数据集包含   7 291  张训练图像和   2 007  张测试图像. 本文分别将     MNIST  和  USPS  作
                 为源域和目标域, 获得两组域适应任务. 在每个域适应任务中, 使用                   JDA [62] 提供的协议, 分别在  USPS  中随机抽取
                 1 800  幅图像, MNIST  中随机抽取  2 000  幅图像作为训练集. 这里, 使用通道拷贝将单通道的             MNIST  和  USPS  转变
                 为三通道. 为匹配     MNIST  图像, 将  USPS  图像从  16×16  分辨率放大到  28×28  分辨率, 每张的图片像素都归一化至
                 [0, 1] 之间.
                    SVHN→MNIST: SVHN   和  MNIST  数据集分别作为源域和目标域. SVHN          相比于   MNIST  在彩色背景、对比
                 度、旋转、比例等方面有显著的变化. 在这种域适应场景中, 根据                    DANN  [17,45] 使用整个训练集  (标记的  73 257  张
                 SVHN  图像和未标记的      60 000  张  MNIST  图像) 进行训练, 并对目标域    (MNIST  数据集) 的训练集进行评估. 将
                 SVHN  重新缩放到    28×28  像素, 并且将  MNIST  灰度通道复制到    3  个  RGB  通道.
                    本任务中采用      3  层卷积层、两层全连接层的        LeNet 网络. 在进行   MNIST↔USPS  任务中, 因所需的两个数据
                 集训练样本较少, 为防止过拟合, 设置实验在迭代              500  次后停止训练. SVHN→MNIST     任务中设置训练迭代次数为
                 3 000  次. 使用小批量随机梯度下降      (mini-batch SGD) 训练网络, 学习率设置为    0.1, 动量为  0.05, 权重衰减为  0.003.
                 批量大小设置为      64.

                 3.1.3    实验结果与分析
                    表  2  列出了  A-UDA  方法与其他无监督域适应方法在数字分类数据集上进行对比的结果. 每个实验结果由                           5
                 次随机实验的平均值和标准差组成, 最优的准确率用粗体表示, -表示未报告结果.

                                          表 2 各种方法在数字分类任务上的准确率              (%)

                               方法        SVHN→MNIST      USPS→MNIST      MNIST→USPS      Avg.
                            Source only     59.3±0.1        48.2±5.9       74.7±0.1      60.7
                             DANN [3]        71.1            73.0           77.1         73.7
                              DSN [41]       82.7             -             91.3         87.0
                             ADDA [44]      76.0±1.8        90.1±0.8       89.4±0.2      85.2
                             CoGAN [45]       -              89.1           91.2         90.2
                             DRCN [46]      91.0±0.2        73.4±0.0       91.8±0.1      85.4
                              MCD [61]      96.2±0.4        94.1±0.3       94.2±0.7      94.8
                              A-UDA         97.6±0.1        96.5±0.6       94.6±0.7      96.2

                    实验结果表明, 本文所提方法在          3  种数字分类域适应任务中均取得了最好的性能. Source only            表示仅在源域
                 数据上进行训练, 然后直接在目标域数据上进行测试的结果. 如表                    2  所示, 在  SVHN→MNIST、USPS→MNIST   和
                 MNIST→USPS  任务上相比于其他基线的最佳准确率分别提高了                  1.4%, 2.4%  和  0.4%. SVHN→MNIST  任务的准
                 确率在   3  个域适应任务中相比于所表示的最佳基线提升效果最为明显, 反映了本文模型在更加困难的域适应任务
                 中有着更好的分类效果. 具体来说, A-UDA          与  DRCN  方法相比, 平均精度提升了        10.8%, MCD  通过训练两个分类
                 器来减少源域和目标域之间的距离. 与            MCD  方法进行比较, 其平均精度升了          1.4%. 由此可以看出, 利用目标领域
                 的分类信息来指导无监督域适应的学习是尤为重要的, 正确的伪标签信息可以起到显著的正向促进模型预测准确
                 的效果. 当源域分类器预测更为准确时, 目标域中无标记样本的正确预测标签概率更大, 反馈到网络中使得模型在
                 训练过程中不断进行优化. 本文所提出的算法在匹配特征分布的基础之上, 引入伪标签策略, 并结合一致性正则化
                 技术, 从而进一步改善域适应模型性能, 验证了             A-UDA  方法在无监督域适应场景下有效性.
                    此外, 为观察特征分类情况. 在图           5  中, 使用  t-SNE  [63] 将  A-UDA  与  MCD  两个方法在  MNIST→USPS、
                 SVHN→MNIST   任务上的结果在二维空间进行展示, 将所学习的特征可视化. 这里, 红色和蓝色的点分别表示源域
                 样本和目标域样本的特征, 不同的簇代表不同的分类类别. Before adaptation             表示不进行域适应而直接将源域训练
                 的模型用于目标域, 所学习到的特征可视化的结果. Adapted              表示使用域适应方法对目标域特征进行可视化得到的
   336   337   338   339   340   341   342   343   344   345   346