Page 93 - 《软件学报》2026年第5期

1972 软件学报 2026 年第 37 卷第 5 期

(19)
ˆ p = ¯ p img || ¯ p txt
其中, ˆ c ∈ R 2D×1 和 ˆ p ∈ R 2D×1 表示拼接后的企业多模态融合初始表征和专利的多模态融合初始表征.
a 为每个企业和专利的多模态融合初始表征进行全局调整学习. 这种调整
在此基础上, 本文引入适配向量
可以被视为对多模态特征空间的一致性调节, 提高不同模态的特征在同一空间内的协调性. 具体地, 对于一个拼接
ˆ e i 上, 称为多模态适配融合表征, 记
后的实体表征 ˆ e i ∈ {ˆ c, ˆ p}, 本文分配了一个独立的可学习适配向量 , 添加到
a i
为 ˜ e i :

(20)
˜ e i = ˆ e i + a i
b
b
b
为了避免由于适配向量数量过多而增大训练难度, 通过训练一组 k 个独立的基向量, 即 v ,v ,...,v , 每个适配
1 2 k
向量 a i 都可以通过使用这组基向量的聚合来生成:

k ∑
a i = l i,j v b j (21)
j=1

( )
T
exp l ˆ e i
j
l i,j = (22)
k ∑
( )
T
h
exp l ˆ e i
h=1
其中, l j ∈ R 2D×1 ( j = 1,2,...,k) 是 个可学习的线性投影向量. 通过这种方式, 获得了更加协调、一致的多模态适配
k
融合表征 ˜ c 和 ˜ p.
为了更好地捕获企业与专利的交互信息, 本文进一步将上述卷积得到的节点偏好表征和多模态适配融合表征
∗
e
∗
连接起来, 并将连接后的企业和专利表征向量分别记为 e 和 , 形式上表示如下:
c
p

e = e c || ˜ c (23)
∗
c
∗
e = e p || ˜ p (24)
p
其中, e ∈ R 3D×1 和 e ∈ R 3D×1 分别表示企业多模态融合表征和专利多模态融合表征. 这种融合不仅保留了企业与专
∗
∗
c p
利之间的协作特征, 还通过适配向量实现了对多模态特征的全局调控, 有助于模型更好地推断用户与项目之间的
交互关系.
2.4.2 基于注意力机制的特征融合
为了进一步增强企业和专利的表征, MHGN 引入了注意力机制, 用于捕获特征中的关键信息. 注意力机制通
过计算各特征的重要性权重, 使模型能够更加聚焦那些对预测任务最为关键的特征, 从而提升表征的准确性和解
释性.
∗ ∗
具体而言, 在企业和专利的多模态融合表征 e 和 e 的基础上, 利用注意力机制进行特征加权. 为了简洁表示,
c p
∗
使用 e 代表企业和专利的多模态融合表征, 注意力机制的过程如下.
首先, 对输入的企业和专利表征进行线性变换和激活函数处理后, 生成中间特征矩阵 M e , 公式为:
M e = σ(W 1 e + b 1 ) (25)
∗
其中, W 1 ∈ R D ′ ×3D 表示可学习权重矩阵, b 1 ∈ R D ′ 是对应的偏置项, σ(·) 为激活函数, 例如 tanh 函数.
通过对特征矩阵进行进一步处理, 计算得到注意力权重矩阵 A e . 注意力权重反映了各特征在综合表征中的重
要性, 具体计算过程如下:

(26)
A e = W 2 M e + b 2
其中, W 2 ∈ R 3D×D ′ 和 b 2 ∈ R 3D 分别表示一个可学习的权重矩阵和偏置项, 用于对特征矩阵进行线性变换.
∗
计算得到的注意力权重 A e 将用于对多模态融合表征 e 进行加权. 具体地, 将权重与多模态融合表征逐元素相
∗
乘, 得到加权后的企业和专利表征 ¯ e , 公式为:

∗
¯ e = A e ⊙e ∗ (27)