Page 193 - 《软件学报》2025年第4期

陈强 等: 融合任务知识的多模态知识图谱补全 1599

表 4 任务知识融合模块对于实验结果的影响

FB15k-237 WN9
图像编码器 LSTM GRU LSTM GRU
Hit@10 MRR Hit@10 MRR Hit@10 MRR Hit@10 MRR
ResNet50 0.527 0.348 0.531 0.349 0.921 0.909 0.921 0.908
ResNet101 0.534 0.352 0.530 0.350 0.918 0.907 0.921 0.907
ResNet151 0.530 0.351 0.529 0.349 0.919 0.907 0.919 0.907
VGG16 0.524 0.348 0.532 0.353 0.918 0.905 0.922 0.905
ViT 0.534 0.351 0.531 0.351 0.917 0.906 0.918 0.908
Ours 0.539 0.357 0.538 0.356 0.926 0.913 0.926 0.914

4.2 多模态融合过滤模块的影响
为了验证多模态融合过滤模块的有效性, 我们移除了模态融合过滤模块, 直接将 3 种模态的实体向量进行求
和后求均值的操作, 通过实验得到在不同聚合算子下的性能, 结果如图 4 所示. 可以发现, 使用了多模态融合过滤
之后, 各个指标下的性能均有所提升. 我们认为这得益于本文提出的模态融合过滤模块可以充分过滤掉不同模态
0.356
中与任务无关的信息, 融合和保留对当前任务有效的信息.

Ours w/ GRU Ours w/ LSTM Ours w/o RNN Ours w/ GRU Ours w/ LSTM Ours w/o RNN
0.6 0.930
0.925
0.5
0.920
0.4
0.915
0.3 0.910
0.2 0.905
0.900
0.1
0.895
0 0.890
Hit@1 Hit@3 Hit@10 MRR Hit@1 Hit@3 Hit@10 MRR

0.265 0.389 0.538 0.356 0.908 0.915 0.926 0.914
0.266 0.389 0.539 0.357 0.906 0.915 0.926 0.913
0.255 0.376 0.520 0.343 0.904 0.914 0.923 0.911
(a) FB15k-237 数据集 (b) WN9 数据集
图 4 多模态融合过滤模块对实验的影响

4.3 模态序列顺序的影响
根据模态两两交互的顺序对于模态融合效果可能存在影响. 我们采用基于序列结构的 RNN 网络, 因而我们改
变多模态融合过滤模块中不同模态的输入顺序, 来进一步验证顺序对性能的影响. 结果如表 5 所示, 从表 5 中可以
发现, 采用 S-I-T 顺序可以带来最佳性能, 但是实际不同顺序带来的差异较小, 所以我们没有进一步深入分析. 在
实际应用中, 通常选择其中一种就可以达到相对较好的性能.

表 5 模态顺序对于实验结果的影响.

FB15k-237 WN9
模态顺序 LSTM GRU LSTM GRU
Hit@10 MRR Hit@10 MRR Hit@10 MRR Hit@10 MRR
S-I-T 0.539 0.357 0.538 0.926 0.913 0.926 0.914
S-T-I 0.537 0.355 0.530 0.352 0.920 0.909 0.921 0.909
T-S-I 0.535 0.356 0.536 0.356 0.923 0.913 0.922 0.911
注: S表示实体的结构向量表示, I表示图像向量表示, T表示文本描述向量表示

4.4 RNN 层数的影响
本文通过改变 RNN 的层数来观察模态融合过滤模块中 RNN 层数变化对于性能的影响, 实验结果如图 5 所
示. 从结果可以看出, 随着 RNN 层数增加, LSTM 和 GRU 模型的两个评价指标均出现降低的现象. 我们认为随着
RNN 的层数的增加, 不同的模态的实体向量表示逐渐趋于平滑, 实体之间的差异性降低, 甚至会引入噪声, 从而导
致模型性能的下降. 所以, 采用 1 层 RNN 网络对于多模态知识图谱补全任务就已经足够.