Page 185 - 《软件学报》2021年第9期

杨博 等:一种协同过滤式零次学习方法 2809

4.3 评价标准
基于类别的分类准确率(per-class classification accuracy)是进行零次学习算法效果评价的常用指标,其优点
是能有效降低单个类别对整体结果产生的影响,计算过程见公式(9):
1 # correct predictions in c
ACC = ∑ (9)
c
|| C || cC # samples in c
∈
其中,C 为待测试集中的全部类别.
对于广义零次学习任务,采用已知类别准确率(u)、未知类别准确率(s)、调和准确率(h)这三者作为评价指
标.三者的计算过程如下:其中,ACC tr ,ACC te 分别表示通过公式(9)计算出的已知类别准确率和未知类别准确率,
调和准确率计算过程见公式(10):
2 ACC× × ACC
H = tr te (10)
ACC + ACC
acc
tr te
4.4 传统零次学习任务实验结果
传统零次学习任务中,未知类别分类准确率指标侧重考查模型对新类别样本的分类准确性,各项对比算法
在 SUN,CUB 和 AWA2 数据集上的最终结果如表 5 所示.本文采用相同的实验设置以及评估原则,来保证比较的
公平性.从表中可以观察到,本文提出的 CF-ZSL 算法的分类准确率要优于所有对比算法.这表明通过协同过滤
过程能够充分学习图像视觉特征与类别语义信息之间的潜在影响关系,优化零次学习建模的效果,提升模型对
新类别的分类能力.

Table 5 Compare the classification accuracy under the traditional ZSL setting (%)
表 5 比较传统零次学习任务分类准确率 (%)
方法 SUN CUB AWA2
DAP 39.9 40.0 46.1
IAP 19.4 24.0 35.9
CONSE 38.8 34.3 44.5
CMT 39.9 34.6 37.9
SSE 51.5 43.9 61.0
LATEM 55.3 49.3 55.8
ALE 58.1 54.9 62.5
DEVISE 56.5 52.0 59.7
SJE 53.7 53.9 61.9
ESZSL 54.5 53.9 58.6
SYNC 56.3 55.6 46.6
SAE 40.3 33.3 54.1
PSR 61.4 63.8 56.0
ZSKL 70.5 61.7 51.7
MLSE 62.8 64.2 67.8
SABR 62.8 63.9 65.2
CF-ZSL 71.1 66.2 69.2
能够在不同粒度数据集上有均衡表现,也是对零次学习算法能力的一种考量.粒度刻画的是数据集中各类
别的差异程度,例如:AWA2 是粗粒度动物数据集,各类别是不同种类的动物(如狮子、海豹和蝙蝠等),彼此之间
差异较大;而 CUB 是细粒度鸟类数据集,各个类别是细化分的不同鸟类.从表中可以观察到:无论是在粗粒度数
据集 AWA2 还是在细粒度数据集 SUN 和 CUB 上,CF-ZSL 算法的准确率均有明显提升.实验结果表明:本文提
出的语义图加图神经网络的语义表示过程能够有效挖掘类别间语义关联,受类别粒度的影响较小,在各粒度数
据集上显示出均衡且优秀的表现.
4.5 广义零次学习任务实验结果

广义零次学习任务描述一种更通用的场景,测试集不仅包含新类别样本,还包含一些从原始训练集划分出
的已知类别样本,且每个样本的预测范围为包含已知类别 S 和新类别 U 的所有类别.相较于传统零次分类任务,
广义零次分类任务难度较高,要求模型具有更强的泛化能力.表 6 展示了广义零次学习任务的实验结果,其中,u,