Page 182 - 《软件学报》2021年第9期

2806 Journal of Software 软件学报 Vol.32, No.9, September 2021

要先对其进行补全处理.矩阵中空白位置的未知信息蕴含在非空位置之中,此时可借助这些非空位置数据,估计
并填充某位置的缺失值.协同过滤算法通过将稀疏的评分矩阵视为非稀疏的用户特征矩阵和物品特征矩阵的
内积结果,可缓解矩阵稀疏问题的影响.两矩阵根据相关性进行低秩重构,使用重构矩阵的对应元素值作为对原
评分矩阵缺失值(即空白位置)的评分预测,对原稀疏矩阵进行补全.此外,协同过滤算法可通过挖掘用户间关联
及物品间关联,推断新用户对其未交互的物品的喜好程度,进而为新用户进行推荐.
在零次分类任务中,每张图像 x i 的真实标签可编码为一条独热向量,如图 3 所示表中的一列.由所有独热向
量组成的样本标签矩阵 R 中,存在大量空白位置,是一个稀疏矩阵.注意:在该矩阵中,未知类别对应的行元素以
及测试图片对应的列元素,都是未被观测的值,需要通过算法进行填充或曰补全.对于所有新类别而言,由于在
训练过程中不包含任何新类别的样本,因此对新类别样本的分类任务相当于“冷启动”问题.受协同过滤推荐过
程启发,本文将样本标签矩阵 R 视为两个矩阵的内积结果,即:由卷积神经网络提取出的图像特征向量构成的视
觉特征矩阵 P 以及由类别的语义知识构成的语义特征矩阵 Q.第 3.1 节和第 3.2 节分别辅助视觉特征矩阵 P 与
语义特征矩阵 Q 的学习.矩阵 R 中,“1”的位置表示样本 x i 属于此类别,使用此信息可对图像隐特征表示和类别
隐特征表示的准确程度进行监督.通过将学得的 P,Q 矩阵进行点积,可预测每个图像样本对各类别的预测概率,
对矩阵填充补全.对新类别样本的预测过程可看作是根据此样本提取出的视觉特征,将与视觉特征关联性最大
的类别作为预测结果,该过程与协同过滤推荐过程类似.

Fig.3 Collaborative filtering based zero-shot learning
图 3 协同过滤式零次学习

一些零次学习方法使用已知类别样本预训练卷积神经网络,将预训练好的分类器参数(即全连接层参数)对
语义特征向量进行监督,将语义特征向量与分类器参数之间的距离度量作为损失函数.这种做法对于语义特征
的约束过于严格,且上游分类的预训练效果是其零次分类模型的效果上限.本文目标函数由零次分类损失和图
结构约束正则项两部分加权求和而成,模型目标函数如公式(5)所示:
L=L s +λL c (5)
其中,λ是权衡零次分类损失及语义图结构约束正则项部分的超参数.
目标函数的第 1 部分 L s 是零次分类损失.从有监督学习视角来看,通过使用图像特征矩阵 P 和学得的语义
特征矩阵 Q 两个矩阵做点积,待拟合矩阵为图片真实的标签矩阵 R,直接对应了图像分类任务.在实现过程中,仅
要求预测标签矩阵中最高值的位置正确,放宽了约束,且不依赖于上游任务效果.为了对协同过滤效果进行评
估,本文选用交叉熵损失函数作为此过程的目标函数,如公式(6)所示:
N
N
1
1
L =− ∑∑ y , i k log(p q⋅ k ) = − ∑∑ y , i k log( ( ), ( )) (6)
f x g c
k
i
s
i
N i= 0 k S N i= 0 k S
∈
∈
其中:样本 x i 由图像特征抽取网络 f(⋅)提取出的视觉特征 f(x i ),记作 p i ,N 为训练集样本总量;由图卷积神经网络