Page 89 - 《软件学报》2026年第5期

1968 软件学报 2026 年第 37 卷第 5 期

将图神经网络引入到多模态推荐系统 [41] , 相比于传统的方法, GNN 能够更好地利用在推荐系统中普遍存在的用户
属性和商品属性信息 [42] . 为了挖掘物品的多模态信息, MMGCN [43] 提出了基于 GCN 的多模态推荐方法, 为每个模
态分别构造用户-项目二部图, 再通过 GCN 进行特征聚合, 以增强用户和项目的表征. DualGNN [44] 在 MMGCN
的基础上, 利用用户之间的相关性, 基于二分图和用户共现图来捕捉用户对同一项目不同形态特征的偏好. 为了识
别并减少用户-项目图中无意的交互, GRCN [45] 构建了图精化层, 通过识别噪声边和破坏虚假边来优化用户-项目交
[46]
互图的结构. 为了挖掘出项之间的语义信息, LATTICE 构造了项目-项目关系图来发现多模态特征下的潜在物品
关系, 最后结合 CF 方法进行推荐. 在 LATTICE 的基础上, FREEDOM [47] 进一步检测到项目-项目图的学习是可以
忽略的, 通过冻结该图并同时对用户-项目交互图进行去噪以获得有效和高效的推荐. 为了捕获图中的同质信息和
异质信息, MMSR [48] 提出了基于图的方法, 通过自适应顺序融合模态特征, 采用双重注意力机制区分同质和异质邻
居节点, 能够更好地识别并学习到模态间的关系程度. 相似地, 为了更好地融合多模态特征, DRAGON [49] 分别构建
同质图和异质图来获取用户和项的双重表征. MMFN [50] 通过 GNN 提取跨模态交互信息, 通过门控多因素语义传
感器深度提取特征, 提升了推荐系统的性能.
尽管现有的基于图的多模态推荐方法取得了一定的成功, 但它们仍存在一些不足. 首先, 这些方法通常难以有
效地去除多模态特征中的噪声, 导致模型容易受到无关或误导性信息的干扰. 此外, 这些方法往往未能充分考虑不
同特征的重要性和差异性, 导致特征融合的效果不佳.
本文受到基于深度学习的专利推荐方法和基于图的多模态推荐方法的启发, 提出了可以提取出丰富企业信息
和融合专利异质信息的多模态异质图网络专利转让推荐模型, 它可以通过图神经网络来增强企业和专利的表征,
从而提高推荐性能.

2 方 法

本节介绍所提出的多模态专利推荐模型, 表 1 介绍了本文所使用的主要符号, 模型框架图如图 2 所示. 它由 5
个部分组成, 分别是初始特征编码模块、多模态特征编码模块、偏好权重学习图卷积模块、特征融合模块和推荐
预测模块. 具体地, 本文首先通过预处理模型对企业和专利的信息进行编码; 然后根据专利和企业的初始表征得到
专利和企业的多模态表征; 再通过计算多模态下的偏好权重, 对企业和专利进行图卷积操作, 将得到的节点偏好表
征与多模态表征进行拼接, 并通过引入适配向量和注意力机制进一步对多模态表征进行融合与加权. 最后, 在专利
推荐预测模块, 本文通过计算企业和专利的相似度来得到最后的推荐结果.

表 1 基础符号和说明

符号 含义
p txt 专利初始文本表征
专利初始图像表征
p img
企业初始文本表征
c (0)
¯ c m 任意模态下企业偏好表征
¯ p m 任意模态下与企业偏好相关的专利表征
e c 企业节点偏好表征
专利节点偏好表征
e p
ˆ p 专利多模态融合初始表征
ˆ c 企业多模态融合初始表征
˜ c 企业多模态适配融合表征
˜ p 专利多模态适配融合表征
∗
e c 企业多模态融合表征
∗
e p 专利多模态融合表征
∗
¯ e c 企业综合表征
∗
¯ e p 专利综合表征