Page 150 - 《软件学报》2020年第12期

3816 Journal of Software 软件学报 Vol.31, No.12, December 2020

随着查询数量的增加,学习器模型训练效果越来越好,从而使得提出的方法具有更显着的性能优势.此外,
使用 kNN 的分类精度的绝对值通常低于使用 MT 模型(采用卷积神经网络)的结果,但仍然比基准方法表现得更
好.这些结果符合本文关于不同级别分类难度的表述,并证明 AdaActive 方法可以在困难分类任务中很好地工
作.实验中发现一个有趣的现象:在主动学习开始的几轮中,准确度的提升并不明显.这是因为未经训练的网络
已经能够基于所产生的样本表示进行一些初步关联.但是,网络会产生许多错误的关联,并且只会受到无监督小
批量 B 中少数样本的影响,这些样本与监督小批量 A 中的样本最相似.随着训练的加深,样本表示之间的关联会
变得更好.此外,样本代表性的目标函数设计确保 B 中的所有样本受到相同概率的选择.这种分类实验表明:通过
选择“正确”的样本,可以提高模型的性能,也突出了主动学习的重要作用.

3.3 聚类任务
本节将评估聚类任务中主动学习与其他基准方法的表现.算法在 MNIST 数据集上进行了测试.为了评估聚
类算法的有效性,本文使用归一化互信息(normalized mutual information,简称 NMI)和 F-measure 作为实验中的
评估标准.本文使用众所周知的半监督聚类算法 MPCKmeans [24] 作为元学习器,它在度量学习和聚类步骤之间
交替.值得注意的是:选择 MPCKmeans 算法并不重要,因为提出的算法可以与任何基于约束的聚类模型一起使
用.在实验中,MPCKmeans 模型的最大迭代次数设置为 220.对于 MNIST 数据集,算法每轮选择 15 个成对查询;
基于数据集的实际类标签回答查询.为了获得可靠的结论,每个实验都会重复 10 次,并根据评估指标记录模型
性能.第 3.3.2 小节中记录了各种基准和相关方法的 NMI 和 F-measure 值.
3.3.1 对比方法和实验设置
为了验证提出方法的有效性,将它与基准和一些相关的最新方法进行比较.
1) RAND:选择当前约束集合 C 中未包含或推导的随机成对查询;
2) Min-Max [25] :一种基于邻域的方法,首先遍历构建 c(群集总数)个不相交的邻域;然后使用基于距离的
Min-Max 标准,选择要查询的样本,逐渐扩展样本的邻域;
3) QUIRE [10] :根据每个样本的信息性和代表性来计算样本不确定性;
4) NPU [26] :通过选择信息样本并查询它们与邻居的关系,扩展约束对的数量;
5) FASS [21] :结合子模函数和深度学习查询高信息度的样本;
6) URASC [27] :根据不确定性减少原则来选择聚类成对约束;
7) ASCENT [12] :基于深度学习特征抽取的方法选取高影响力的样本.
3.3.2 聚类实验
本节记录算法在 MNIST 数据集上不同主动查询次数的 NMI 值.实验结果显示在图 4 中,每条曲线显示了方
法随机独立运行 10 次后的平均性能

Fig.4 The NMI of different methods on the MNIST dataset
图 4 各方法在 MNIST 数据集上的 NMI 值

可以观察到,提出的 AdaActive 方法始终比基准方法表现的更好.相比之下,NPU 和 URASC 方法通常能够