Page 187 - 《软件学报》2025年第4期

陈强 等: 融合任务知识的多模态知识图谱补全 1593

都得到了广泛的应用, 比如视觉问答 [18] 、对话中情感检测 [19] 和文本表示学习 [20] . 但是, 上述任务都是在同构图网
络上应用图卷积神经网络, 他们只需要考虑节点的不同, 不需要考虑边的类别. 而知识图作为一种多关系的异构图
结构, 包括不同的实体节点和不同类型的边. 传统的图卷积神经网络无法有效聚合异构图中边的关系, 因此
Schlichtkrull 等人 [21] 提出了关系图卷积神经网络, 通过枚举每一个实体和关系的组合来表示知识图中可能存在的
(节点, 边) 的类型, 从而将异构图网络转换为同构图网络, 如图 2 所示. 图 2(a) 和图 2(b) 的差异在于边的类型的个
数, 同构图网络的边类型个数为 1, 异构图网络的边类型个数大于 1. 但这么做会导致随着关系个数的增加, 参数量
也因而急剧上升, 这就限制了其在大规模知识图上的应用. Vashishth 等人 [22] 放弃了枚举实体和关系组合的方法,
采用聚合算子的方式将边的信息融合到实体当中, 也成功地将原来的多种关系类型转换为一种关系类型, 实现了
异构图向同构图的转化.

节点 边

聚合
(a) 同构图网络 (b) 异构图网络
图 2 同构图网络和异构图网络

受到以上工作的启发, 为了更好地融合各个模态之间的信息, 并且利用知识图谱这一天然的图网络结构, 本文
提出了一种基于图卷积网络的融合任务知识的多模态知识图谱补全模型, 从融合任务知识编码和利用图网络结构
信息两个方面来增强多模态实体关系的向量表示.

2 方 法

本节将详细介绍本文提出的基于图网络结构的融合任务知识的多模态知识图谱补全方法, 模型整体框架如
图 3 所示. 模型首先使用一个多模态编码器进行文本和图像的多模态特征提取. 并且, 结合循环网络结构保留对任
务有用的多模态特征信息. 然后, 使用图卷积神经网络对知识图谱进行实体和关系信息的传播和聚合, 得到最终的
实体和关系的向量表示. 接着, 使用被广泛使用的解码器来对给定实体和关系的三元组进行特征融合. 最后, 将最
终特征输入分类器预测新的三元组, 从而补全原来的图谱.

Used for catching large RNN 聚合后的实体嵌入
fish or whales 图 unit 图 聚合
像 像 算子 实体信息传递的方向
嵌 RNN 嵌
入 unit 入

Hotpot, a stew of meat RNN
and potatoes cooked in a 融
tightly covered pot 文 unit 文 聚合 实 实
合 本 本 体 … 体
任 嵌 RNN 嵌 算子 嵌 嵌
务 unit 0
知 入 入 入 入 解 或
码
识 1
Fruit tree, tree bearing 编 RNN 器
edible fruit 码 结 unit 结
构 构 算子
嵌 RNN 嵌
入 unit 入
Newborn infant, a baby
from birth to four weeks 关 线 关
系 性 系
嵌 层 嵌
入 入
图 3 本文所提出的模型的结构示意图