Page 90 - 《软件学报》2026年第5期
P. 90
赖培源 等: 基于多模态异质图网络的专利推荐算法 1969
预测学习
推荐预测
模块
企业综合表征 e c * 专利综合表征 e p *
企业多模态融合 专利多模态融合
基于注意力机制的融合
表征 e c * 表征 e p *
适配向量 a
特征融合 适配向量 a
模块 企业多模态 + + 专利多模态
融合
初始表征 c ˆ 融合初始表征 p ˆ
向量拼接
企业-节点偏好表征 e c 专利节点偏好表征 e p
企业 ID 初始化向量
GCN
偏好权重学习 专利 ID 初始化向量
图卷积模块 企业-专利交互 边权重
ρ txt ρ img
相似度函数 s c↔p s c↔p s c↔p 相似度函数
img
txt
c img
c txt p txt
文本特征 图片模态
多模态特征 GAT GAT
编码模块 企业-专利交互
p p
txt img
映射函数
c (0) p p
txt img
图片编码器
文本编码器 (ყ RoBERTa) 文本编码器 (ყ RoBERTa)
(GoogleViT)
初始特征
编码模块
名称 简介 主营业务 行业 类型 专利名称 摘要 关键词 权利要求 图片
企业 专利
图 2 基于多模态异质图网络的专利推荐模型框架图
2.1 初始特征编码
2.1.1 企业初始特征编码
本文提出的模型旨在向企业推荐专利, 企业的信息包括企业名称、企业描述、经营范围、企业类型、所属行
业等多种类型的文本信息. 对于每种类型的企业文本信息先进行预处理, 再通过预训练的 RoBERTa 模型 [51] 生成
每个企业的文本表征, 具体表示如下:
txt
h = RoBERTa(T i ) [cls] (1)
i
其中, T i 表示第 i 种类型的文本信息, h txt 表示输出的第 i 种文本信息的表征, txt 代表文本特征, RoBERTa 是文本表
i
征预训练模型, [cls] 代表 RoBERTa 模型输出中一个特殊的标记向量, 该向量通常用来表示整个文本的表征.
由于不同类型的文本信息根据语义的丰富程度可能会生成不同维度的特征, 这些特征可能位于不同的空间
h , 本文使用多层感知机 (multilayer perceptron, MLP) 将其投影到同一维度中, 以便后续的
txt
中. 对于每个文本表征
i
特征融合, 过程如下:
¯ txt txt
h = W i h + b i (2)
i i
