Page 308 - 《软件学报》2025年第12期

张明韬 等: 基于嵌入模型的知识图谱准确性评估 5689

元组信息的挖掘), 通过属性与实体的依赖关系判断当前三元组是否违背了依赖条件、是否存在推理规则支持该
三元组. 尽管图依赖关系能够发现知识图谱中不符合约束条件的情况, 然而在分类阶段缺少对应的实现方式, 一种
较为简单的分类即为将所有符合依赖关系约束条件的三元组均判断为正确三元组.
4.5 嵌入模型衍生方法
由于嵌入模型自身难以完成分类阶段, 嵌入模型衍生方法主要实现按照阈值或特征的分类, 常见如 KGTtm 方
法、ACTC 方法等.
KGTtm 方法: Jia 等人 [9] 的工作在嵌入模型方法基础上增加更多知识图谱结构、路径特征辅助判断, 并设计分
类器实现分类阶段. 具体的, 在验证阶段对三元组进行评分时利用了知识图谱 3 方面的特征: 图谱结构特征、嵌入
模型对三元组的评分、头尾实体节点最短路径上的节点信息, 并利用神经网络融合 3 方面特征实现分类器, 进而
给出输入三元组是否可信的判断, 在分类阶段利用已标注数据训练分类器, 因此需要人工标注.
ACTC 方法: Sedova 等人 [10] 在匹配验证阶段采用嵌入模型, 利用图谱内部结构信息进行验证, 在分类阶段提
出阈值标定任务, 采用人工核验三元组是否正确的方式, 获得部分三元组标注数据, 确定近似的最优分类阈值.
ACTC 方法为目前阈值标定任务中的最先进方法, 在一般的简单随机抽样进行阈值标定的基础上, 利用线性回归
等方式辅助判断未标注数据, 并根据已判断三元组选择下一个待标注三元组, 避免样本中三元组评分分布存在倾
斜, 从而更快收敛至最优阈值.
4.6 评估方法多维度对比
本节对比知识图谱准确性评估方法的可信程度、评估效率、灵活性等多个维度, 说明当前方法存在的优势与
不足之处.
比较各类方法对三元组判断的能力如表 7 所示. 其中针对整体知识图谱, 比较其评估结果是否无偏; 针对每种
错误类型, 比较是否能够被方法完整判断 (即不存在难以识别该类型错误、无法给出判断结果的情况)、判断结果
是否可信 (即识别结果合理程度) 两个维度; 针对正确三元组, 按照判断可信程度进行比较. 针对其中判断结果可
信程度这一维度, 表格利用“+”的数量衡量其判断结尾为基本可信 (“+++”)、较为可信 (“++”) 与可信程度一般
(“+”), 若判断结果与是否有该类型错误无关, 则划去该表格.

表 7 方法对三元组判断可信程度对比

评估是 判断完整性 判断结果可信程度
方法类型
否无偏 结构错误 语义错误 实体/属性层面错误 结构错误 语义错误 实体/属性层面错误 正确三元组
I. 随机抽样检测 √ √ √ √ +++ +++ +++ +++
II. 规则辅助抽样 √ √ √ √ +++ +++ +++ +++
III. 外部数据验证 － － － － + － + +++
IV. 图依赖关系验证 － － － － +++ +++ +++ +
V. 嵌入模型衍生方法 √ √ √ － ++ ++ － ++

由表 7 可见, 在判断完整性上, 随机抽样检测以及规则辅助抽样两类方法针对正确三元组以及各种类型错误
都能进行完整识别判断; 基于外部数据验证以及图依赖关系验证的方法针对多种错误存在无法完全进行识别的情
况, 这是由于其判断依据与待判断三元组之间的匹配仅为全部三元组的一部分, 导致其判断往往局限于知识图谱
中的一个子集, 对于剩余三元组既无法证真或判伪; 嵌入模型衍生方法通过知识图谱内部结构验证判断三元组层
面错误, 但无法判断实体/属性层面错误.
在判断结果可信程度的对比上, 随机抽样检测以及规则辅助抽样两类方法具有最优的错误识别能力, 基于外
部数据验证的方法能够较为可信地识别正确三元组, 但针对错误三元组往往缺少判断能力, 基于图依赖关系验证
的方法则与之相反, 在本文目标类型错误上嵌入模型衍生方法有着较为均衡的判断能力.
比较各类方法评估效率如表 8 所示. 针对方法人工标注的时间成本、计算机计算的时间成本两方面, 针对三