Page 305 - 《软件学报》2025年第12期
P. 305
5686 软件学报 2025 年第 36 卷第 12 期
知识图谱上嵌入模型训练时间不可控. 人工方法只需评估单个三元组是否正确, 评估时间只与样本数量有关, 相对
稳定. 因此嵌入模型训练集的抽样策略可作为一种重要的未来研究方向.
人工评测 200 个样本
CKRL 预处理
200 KGTtm 预处理
时间 (min) 150
100
50
0
TransE TransH TransD ComplEx SimplE DistMult RotatE CKRL CAGED KGClean KGTtm
模型
图 6 各模型评估时间对比
(2) 知识图谱数据集对比
为进一步探索不同数据集的作用, 本文取嵌入模型中除去最高、最低值后的均值作为缺省值, 分析数据集差
异可能造成的影响 (如表 5 所示). FB15K-237 与 YAGO3-10 有着类似的指标范围与变化趋势, 而 NELL-995 在
ACC 层面显著低于剩余数据集, 平均 ACC 指标相对其他数据集下降 13%, 在 ERR 的变化趋势上也有着较高的随
机性. 这说明了 NELL-995 数据集一定程度上并不适合此类自动化评估方法.
表 5 各数据集在不同模型下的指标平均值对比
数据集 正确率 (%) ACC 1 ERR 1
90 0.901 0.024
FB15K-237 80 0.828 0.081
60 0.670 0.269
90 0.764 0.149
NELL-995 80 0.702 0.033
60 0.623 0.075
90 0.896 0.005
YAGO3-10 80 0.825 0.094
60 0.692 0.286
该现象可能源于 NELL-995 的稀疏性, 相关文献 [27] 中通过定义与实验分析, 说明了平均每个实体、每类关
系对应的三元组数量可以一定程度反映知识图谱的相对稠密性, 其他条件不变的情况下, 对三元组进行增减能够
影响嵌入模型的性能, 这使得稀疏性成为指导嵌入模型是否可以使用的指标, NELL-995 数据集相对其他两个知识
图谱, 平均每个实体、每个关系对应的三元组数量较少, 一方面相关文献 [27] 中的实验结果说明, 嵌入模型本身
的训练质量依赖于密集的训练数据, 稀疏性可能导致第二阶段 (嵌入模型训练步骤) 存在缺陷; 另一方面, 由于此
时数据集中存在错误三元组, 数据较少时对错误三元组训练易过拟合, 导致第 3 阶段分类时更加难以分离正确与
错误三元组, 导致真实正确率下降时评估误差情况与其他数据集表现不同. 可见将嵌入模型应用于知识图谱时, 待
评估知识图谱的正确率 ( µ uni (G)) 以及知识图谱自身的稠密程度 (例如实体、关系平均所对应的三元组数) 都影响
着嵌入模型应用的性能. 直观上看, 嵌入模型利用知识图谱内部信息验证样本三元组是否正确, 其他三元组错误过
多或提供的可用信息不足均会影响嵌入模型的性能. 因此图谱的先验正确率区间与图谱的稀疏性这两个特征可指
导评估人员衡量是否适宜利用嵌入模型进行直接评估.
3.5 结合三元组重要性的准确性评估
′
在增加权重后, 嵌入模型在不同重要性定义下的 ACC 1 指标如表 6 所示 ( λ 0 , λ 阈值只适用于部分模型, 因此
1
