Page 254 - 《软件学报》2021年第12期

3918 Journal of Software 软件学报 Vol.32, No.12, December 2021

and items. In addition, a lot of rich comparative experiments are performed on two datasets, MovieLens and Anime, and the results
confirm its feasibility and effectiveness. Meanwhile the optimal parameters of the model were determined through experiments.
Key words: collaborative filtering; linear inner product; generalized matrix factorization; hidden layers; high-order interaction

众多协同过滤推荐算法中,矩阵分解(matrix factorization,简称 MF)算法因简单、易于实现,得到了广泛的应
用.但是矩阵分解通过简单的线性内积方式无法建模用户和物品之间复杂的非线性关系,限制了模型的推荐性
能.虽然许多工作从多个方面对矩阵分解算法进行改进,但是仍然采用线性内积方式建模用户和物品之间的交
[1]
互,使得模型的性能提升有限.He 等人提出的广义矩阵分解模型(generalized matrix factorization,简称 GMF) 利
用神经网络,通过一个激活函数和不全是 1 的连接权重赋予了 MF 非线性学习能力,将 MF 推广到非线性集合,
提高了模型的表达能力.GMF 的浅层结构使得它在建模用户和物品的二阶交互关系上有很好的表现,然而却并
不能很好地捕捉到包含更丰富信息的用户和物品之间的高阶交互关系.随着深度神经网络技术的不断成熟,许
多研究人员逐渐意识到深度神经网络强大的非线性学习能力和抽象特征学习能力,并开始将其应用到矩阵分
解过程.但是现有研究要么对于协同过滤部分仍采用线性内积,要么只建模了用户和物品的二阶交互关系,忽略
了包含更多信息的高阶交互,导致模型性能受限.
针对以上问题,本文提出了一种深度矩阵分解推荐算法,算法在广义矩阵分解算法的基础上,通过在非线性
内积得到的用户和物品的二阶交互之上引入隐藏层,利用深度神经网络建模用户和物品之间复杂的高阶非线
性交互关系.实验结果表明,提出的深度矩阵分解推荐算法对于模型推荐性能具有显著的提升.

1 相关工作

在众多协同过滤推荐算法中,矩阵分解算法因其可扩展性和易于实现,成为最为普遍和最受欢迎的一种协
同推荐算法.通过一组潜在的特征因子,把用户评分矩阵分解为 user-factor matrix 和 item-factor matrix.矩阵分解
利用潜在因子向量描述用户和物品,即:将用户和物品映射到共享的潜在向量空间中,并通过映射向量之间的内
积来表达用户与物品间的交互关系 [2,3] .为了进一步提升推荐性能,许多的工作对矩阵分解算法进行改进,并取
得了显著的成果.Steffen 等人对于 BPR-OPT 的学习模型提出了基于随机梯度下降和 bootstrap 抽样的一般学习
[4]
[5]
算法 LearnBPR,并将其用于矩阵分解过程 .Badrul 等人 提出了奇异值分解(SVD)来学习特征矩阵,但由 SVD
[6]
学习的 MF 模型容易过拟合.之后,Pan 等人提出一种带案例权重的正则化最小二乘优化算法 WR-MF .此
[7]
外,Mohsen 等人提出了 SocialMF 算法 ,根据用户信任关系,利用信任用户的潜在特征向量来增强矩阵分解,得
到的用户潜在特征向量,从而提升模型推荐性能.但是,这种方法只使用信任关系的表面信息进行推荐,没有考
[8]
虑社交网络中信任关系是由多种因素形成的,所以郭等人在 SocialMF 的基础上提出了 StrengthMF ,将信任关
[9]
系网络与评分信息联合用于矩阵分解过程,从而优化了推荐结果.同时,孙等人 提出了 SequentialMF 推荐算法,
该算法通过对用户时序行为建模发现用户邻居,从而将邻居信息融合到矩阵分解过程.虽然这些算法从不同的
方面改进矩阵分解过程,使得模型推荐性能得到改善,但是这些算法的性能仍然受到因采取内积的方式建模用
户和物品交互的限制,这种线性乘积的结合方式可能并不足以有效地捕捉交互数据中的非线性结构.即:简单和
固定的内积有其局限性,会对模型造成一定的限制.
为了解决上述问题,He 等人在 GMF 中利用神经网络的非线性学习能力,在 MF 之上引入神经网络赋予模型
学习用户和物品之间的非线性交互关系的能力,进一步提升了模型的表达能力.但是,GMF 中仅包含嵌入层和
输出层,在得到用户和物品潜在特征向量后,通过在向量对应元素相乘的结果上添加一层全连接输出层就输出
了结果,只是建模了用户和物品之间的二阶交互,并不能有效地捕捉到包含更丰富信息的用户和物品之间的高
阶交互关系.即:GMF 的浅层结构能够建模用户和物品间交互的低层特征,但是并不能有效地捕捉到包含许多
丰富信息、更抽象的高阶交互,高阶交互信息的缺失一定程度上会限制模型的推荐性能.
近些年,深度神经网络开始成为学术界和工业界的研究重点.深度神经网络通常拥有更多层次的隐藏层,单
层隐藏层能够把输入数据的特征抽象到另一个维度空间,来展现其更抽象化的特征;而多隐藏层能够对输入特