Page 92 - 《软件学报》2026年第5期

赖培源 等: 基于多模态异质图网络的专利推荐算法 1971

偏好表征, 具体地, 在文本模态下记为 ¯ c txt , 在图像模态下记为 ¯ c img .
2.3 偏好权重学习的图卷积
为了进一步度量企业与专利之间的偏好, 本文计算交互图中边的权重, 这些权重为不同模态下的节点之间的
相似度分数. 然后, 将每条边在多个模态中的相似度分数进行汇总, 作为企业-专利交互图的边权重, 再通过 GCN
计算企业和专利的节点偏好表征.
首先, 分别计算每个模态中企业和专利的相似度, 具体公式如下:

( )
T
exp ¯ c ¯ p m
m
¯ s m = ∑ ( ) (9)
c←p
T
exp ¯ c ¯ J m
m
j∈N (c)

exp( ¯ p m ¯ c m )
¯ s m p←c = ∑ (10)
(
T )
exp ¯ p ¯ t m
m
t∈N (p)
其中, ¯ s m c←p 和 ¯ s m p←c 表示企业 c 与专利 p 在模态 m 中两个方向的相似度, N (c) 和 N (p) 分别表示企业和专利在图中
的邻居节点集合, ¯ J m 和 ¯ t m 分别表示邻居节点集合 N (c) 和 N (p) 中的节点向量. 为了得到整体的边权重, 引入了权
重向量对每个模态的相似度进行加权处理, 公式如下:

txt
img
ρ = [ρ ,ρ ] (11)
其中, ρ 表示权重向量, 企业权重向量用于衡量企业对不同模态下专利的相对偏好, 专利的权重向量表示专利不同
模态的特征对专利表征的重要性. 结合权重向量, 通过如下公式计算企业与专利之间的多模态融合相似度:

txt txt
s c←p = max(ρ img img ,ρ ¯s ) (12)
¯ s
c c←p c c←p
txt txt
s p←c = max(ρ img img ,ρ ¯s p←c ) (13)
¯ s
p←c
p
p
其中, max(·) 操作表示在各个模态的相似度得分中, 选取最大值作为多模态下的相似度.
在得到企业和专利的多模态相似度得分后, 基于这些相似度分数构建一个企业和专利的带权交互图, 通过图
卷积网络来学习节点偏好表征. 通过图卷积操作, 每个节点会聚合其邻居节点的表征, 同时考虑边上的权重信息.
经过卷积操作后, 得到每个节点的多层嵌入, 并将这些嵌入聚合作为企业和专利的节点偏好表征. 具体的计算过程
如下:

∑
(l)
e = s c←p e (l−1) (14)
c
p
p∈N (c)
∑
(l)
e = s p←c e (l−1) (15)
c
p
c∈N (p)
其中, e (l) 和 e (l) 分别表示在第 l 层中企业和专利的表征, e (0) 和 e (0) 则是企业和专利的 ID 初始化向量.
c
c
p
p
最后, 将每一层的嵌入表征进行累加, 得到企业和专利的节点偏好表征:

L ∑
e c = e (l) (16)
c
l=0

L ∑
e p = e (l) (17)
p
l=0
2.4 特征融合
2.4.1 基于适配向量的特征融合
为了进一步增强企业和专利的表征能力, 本文引入可学习的适配向量 a ∈ R 2D×1 , 并将其融入多模态表征中. 适
配向量的引入主要作用于多模态特征的全局调节和对齐, 从而提升最终的表征质量.
具体而言, 首先分别对企业偏好表征 ¯ c img 、¯ c txt 和专利偏好表征 ¯ p img 、 ¯ p txt 进行跨模态拼接, 以形成企业和专利
的多模态融合初始表征, 表示如下:

(18)
ˆ c = ¯ c img || ¯ c txt