Page 312 - 《软件学报》2025年第12期

张明韬 等: 基于嵌入模型的知识图谱准确性评估 5693

i
i
组样本构成的测试集, 则 Pr(|S 2 (G)∩G T | = i) = C × p ×(1− p) (n−i) , 根据大数定律, 伯努利分布在 n 较大的情况下趋
n
近于高斯分布 (对于 n > 30, n× p > 5), 即:

ˆ p− p
∼ Gaussian(0,1) (A1)
X = √
ˆ p(1− ˆp)
n
其中, ˆ p := µ uni (S 2 (G)) = i/n, 于是有:

( )
α = α, ∀α ∈ [0,1]
α < X < z 1− 2
Pr −z 1− 2
 
 ˆ p− p 
  ∗ ∗  ∗
Pr  −z < √  α (A2)
 < z  = α, ∀α ∈ [0,1], z := z 1− 2

ˆ p(1− ˆp)/n
1
由于抽样所产生的误差 err 1 = |µ uni (S 2 (G))−µ uni (G)| abs = | ˆp− p| , ˆp(1− ˆp) ⩽ , 因此对给定置信度 α 可以确定
abs
4
( )
z ∗ z ∗
∗ Pr |err 1 | abs < α 的概
z , 进而使得 √ = α, 若要求 |err 1 | abs < ε, 可使其上界 √ ⩽ ε, 计算对应的 n. 因此在置信度
2 n 2 n
z ∗ z 1− 2 α 2
率下, 通过确定 n 的范围使误差 err 1 被 √ 限制, 进而被 ε 限制, 此时 n ⩾ .
2 n 4ε 2
ˆ p− p
∗ ∗ ∗ α ≈ 1.96, 若要求误差范
例如给定 α = 95%, 则根据 Pr(−z < X < z ) = α, √ = X ∼ N (0,1), 有
z = z 1− 2
ˆ p(1− ˆp)/n
z ∗
围在 5%, 应当有 √ ⩽ 0.05, n ⩾ 384.16. 即对于符合 n ⩾ 384.16 条件的 n 组随机抽取结果, 能够在 95% 的概率下
2 n
认定利用该样本的评估误差在 5% 以内. 对于不同重要性定义 w(t), 有类似的方式证明: 随着样本数量增加, 随机
抽样样本与实际三元组集合之间评估误差会以大概率被限制在给定范围.
由于:


ERR := |µ w (G)− ˆµ w (G)| ⩽ |µ w (G)−µ w (S 2 (G))| +|µ w (S 2 (G))− ˆµ w (G)|
 abs abs abs



 ( )

for a given ϵ > 0, C > 0, ∃S 2 (G), Pr |µ w (G)−µ w (S 2 (G))|
 ⩾ ϵ ⩾ C
 abs



 ∑



f
 w(t) ˆ (t)


 t∈S 2 (G) ˆ
 ˆµ w (G) = , f (t) = Label λ (Func θ (t)) (A3)

 |S 2 (G)| w




 ∑ ( )

 ˆ

 w(t) f (t)− f (t)

 t∈S 2 (G)


|µ w (S 2 (G))− ˆµ w (G)| =
 abs

 |S 2 (G)| w


abs
因此, 对于给定的 ε, 随机选择符合条件的 n 个三元组构成评估样本, 则:

∑
( )
ˆ
w(t) f (t)− f (t)

t∈S 2 (G)
ERR ⩽ ε+ (A4)

|S 2 (G)| w

abs
此时, 在整体误差 ERR 中的主要误差即为在 S 2 (G) 上 Label λ ◦ Func θ 与三元组真实正误 f 的区别.
附录 B. 模型与评估误差的关系
首先证明实验指标中标签正确率 ACC 与整体评估误差 ERR 的关系. 由于已知 ERR = |ˆµ w (G)−µ w (G)|, ACC =
{ } /
ˆ
t ∈ S 2 (G) : f (t) = f (t) |S 2 (G)| w , 根据评估结果的计算方式与公式 (A3) 中的证明, 可见有:

w
∑

w(t)(Label λ (Func θ (t))− f (t))

t∈S 2 (G)
ERR = |ˆµ w (G)−µ w (G)| abs ⩽ +|µ w (S 2 (G))−µ w (G)| abs (B1)

|S 2 (G)| w

abs

∑
省略后部分随机抽样导致的误差后 (该误差可通过样本规模被限制), 有 ERR ≈ w(t)(Label λ ◦ Func θ (t)−

/ t∈S 2 (G)

TP, TN, FP, FN 为:
f (t)) |S 2 (G)| w , 定义 Label λ ◦ Func θ 对 S 2 (G) 分类的情况

abs