Page 178 - 《软件学报》2021年第9期

2802 Journal of Software 软件学报 Vol.32, No.9, September 2021

recommendation field, which regards the sparse labeled matrix as the product of the visual feature matrix and semantic feature matrix, and
then classifies the novel samples. In order to make the semantic representation of each category more accurate, a semantic graph structure
is constructed based on the semantic relations between categories and a graph neural network is applied on it for information transferring
between known and novel categories. Traditional zero-shot learning and generalized zero-shot learning experiments are performed on
three classic zero-shot learning data sets. The experimental results show that the collaborative filtering based zero-shot learning method
proposed in this study can effectively improve the classification accuracy, and the training cost is relatively small.
Key words: zero-shot learning; collaborative filtering; matrix completion; graph neural network

深度学习算法在图像识别 [1,2] 、语音识别 [3,4] 、自动驾驶 [5,6] 等大数据处理和人工智能任务中取得了巨大成
功,然而这类有监督学习方法存在的限制是:模型过度依赖大量训练样本,每个类别需要几百甚至上千个样本,
才可使模型达到令人满意的识别精度以及泛化能力;并且训练好的模型只能对已训练过类别的样本进行识别,
无法应用于新类别样本.与之相比,人类的推理过程更加灵活,能够结合历史经验与新知识进行推理.例如,小孩
子认识马这种动物,在学习到“斑马是具有黑白条纹的马”这条新知识后,便可推理出从未见过的新动物——斑
马.零次学习任务希望计算机模仿人的推理过程,通过将历史经验迁移至新任务,无需使用大量新类别样本训
练,便可达到识别新类别的效果.
在零次学习任务中,已知类别集合和新类别集合不相交,通常需要引入外部语义知识使得零次学习模型有
效.目前,一些工作通过引入类别属性、词向量或类别描述等外部知识为各类别学得更准确的特征表示,进而构
[7]
建类别语义与视觉特征之间的映射关系 .然而在大多数零次学习方法中,语义知识表示过程是独立完成的,类
间互不影响,不能很好表现类间关联,且分类准确率仍有提升空间.知识图谱是一种显式组织知识以及知识间关
联的数据结构,有工作将知识图谱引入零次学习,利用外部知识库中类间关系构建图谱,并借助图卷积神经网络
[8]
实现图谱上的类间知识传递 .相较于直接使用语义知识,引入知识图谱中的类间关系能够有效提升对新分类
的预测效果.然而,将知识图谱引入零次学习存在以下难点:高质量知识图谱构建较为困难;需要针对不同数据
集分别构建对应的图谱;构造的图谱中可能存在噪声.
本文通过研究发现:零次学习与协同过滤推荐有内在联系,两者都可以建模为低秩矩阵填充问题.零次学习
任务具有两个基本特点:新类别样本在模型训练过程中不出现,对新类别样本的分类可视为“冷启动”情况;样本
标签矩阵是稀疏矩阵,仅有样本真实所属类别位置非空.这两个特点导致零次学习模型无法得到充分训练,很难
完成对新类别样本的准确分类.冷启动和矩阵稀疏问题同样存在于推荐任务中,可采用协同过滤的思想进行处
理.协同过滤算法通过挖掘用户关联和物品关联,为某些没有历史行为数据的新用户及新物品完成推荐,从而缓
[9]
解冷启动和稀疏性带来的推荐不准确问题 .理论上,协同过滤算法将基于稀疏评分矩阵的预测问题建模为低
秩矩阵填充问题,使用用户-物品评分矩阵中的已知值估计其中的缺失值.若将评分矩阵视为用户特征矩阵和物
品特征矩阵的内积,则可采用矩阵分解方法解决低秩矩阵填充问题 [10] .
基于上述发现,本文拟将零次学习和协同过滤这两个领域有机结合起来,提出一种新颖的协同过滤式零次
学习方法,将零次学习任务建模为标签矩阵填充问题,借鉴协同过滤思想,将稀疏的标签矩阵分解为非稀疏的视
觉特征矩阵和语义特征矩阵,进而实现对新类别样本的分类预测.该方法借鉴协同过滤思想,挖掘已知类别样本
标签矩阵,学习视觉特征与类别语义知识的对应模式,并进一步迁移至对新类别样本的分类任务.为了使用较小
代价为各类别学得准确的语义表示,本文以语义图的形式引入知识,建立已知类别与新类别之间的语义关联.本
文使用图神经网络实现图上节点间的信息传递,促进已知类别和新类别之间的语义知识交互,打破现有方法中
语义表示学习过程的独立性限制.此外,本文在目标函数中额外加入了图结构约束正则项,以维持类别在原始语
义特征空间中的语义关联.针对传统零次学习任务和广义零次学习任务,在 3 组经典零次学习数据集上对本文
所提出的协同过滤式零次学习方法进行验证,实验结果表明:本文方法能够普遍提升各任务的评估指标,并在各
任务下维持稳定且优异的效果.据我们所知,目前尚未有从协同过滤的角度研究零次学习的相关工作.
本文第 1 节描述零次学习任务所对应的机器学习问题定义.第 2 节回顾现有零次学习的相关工作.第 3 节
介绍本文提出的协同过滤式零次学习方法,包括视觉特征抽取、语义知识表示以及协同过滤式零次学习算法等