Page 148 - 《软件学报》2026年第2期

王浩天 等: 扩散模型引导的根因分析 627

∏ d ∑ d ∑ d
log logp (X i − f i (Pa i ))
N i
s j (X) = ∇ X j logp(X) = ∇ X j p(X i | Pa(X i )) = ∇ X j logp(X i | Pa(X i )) = ∇ X j
i=1 i=1 i=1
( ( ))
∂logp N i X j − f j Pa j ∑ ∂f i (Pa i ) ∂logp (X i − f i (Pa i ))
N i
= − ,
i∈Ch( X j) ∂X
∂X j ∂X j
( )
j
其中, ∇ X j logp(X) 代表得分函数这一统计量的第 个分量, Ch X j 表示节点 X j 的子节点变量集合. 值得注意的是,
d
得分函数 ∇ X logp(X) ∈ R 本身是一个向量函数. 进而, 基于上述的推导, 引理 1 可以桥接起得分函数和数据内生的
因果结构.
引理 1. 现将变量在因果图中的结构和其得分函数的方差关系表达如下:

n
[ ]
 ∂s (X)
 j
 n = 0

 X j 在 G 中是叶子节点, 如果Var X


 ∂X j

.
 [ c ]
 ∂s (X)

 j
 c
 = 0
 X j 在 G 中是叶子节点, 如果Var X

∂X j
基于引理 1, 文献 [20] 进一步提出跨多环境数据下, 干预变量集合的识别引理.
引理 2. 令 q(x) = w c p (x)+w n p (x) 为干预-观测数据分布的混合分布密度函数, 其中 w c 和 w n 分别为两个分布
c
n
的权重. 进而, 令 s j (X) = ∇ X j logq(X) 为混合密度函数的得分函数. 基于假设 1, 如下结论成立 [20] :

[ ]
 ∂s j (X)

 n c
 Var X > 0 ⇒ X j 在G 和G 中都是叶子节点且X j ∈ Inv



 ∂X j
 (3)
 [ n ] [ c ]
 ∂s (X) ∂s (X)

 j j

 > 0 ⇒ X j 至少在一个因果图中是叶子节点
 Var X > 0∪Var X

∂X j ∂X j
上述框架的最大挑战之处在于对于分布得分函数, 即 logq(X) 的估计. 这一估计的难度来源于对分
s j (X) = ∇ X j
布密度函数的建模. 尽管文献 [20] 本身对于得分函数的求解提出了基于核函数的斯坦估计方法, 其可以视为下面
斯坦等式的近似:

 [ ]
⊤
 E q h(x)∇logq(x) +∇h(x) = 0


 ] ,
 [ ( ) ⊤ ] [ ( )
 2 2 ⊤
 E q h(x)Diag ∇ logq(x) = E q ∇ h(x)−h(x)Diag ∇logq(x)∇logq(x)

diag
)
(
limh(x)q(x) = 0. 然而, 对上述等式的核估计 [22] O m , 其中 m 为对应数据源
2
其中, 函数 h(x) 具备性质 的复杂度是
x→∞
的样本数量. 与此同时, 在面向非线性的复杂数据的时候, 基于核方法的估计并不能够很好地刻画数据分布本身.
3.2 基于扩散模型的海森矩阵估计
[ ]
∂s j (X)
回顾引理 1 中项 Var X = 0, 计算得分函数一阶导数的方差实际上可以等价于求得分函数对应的海森
∂X j
[ ]
∂s j (X) [ ( ) ] ( )
矩阵的对角元素: Var X = Var X H logp(x) j,j , 这里 H log p(x) j,j 表示海森矩阵的对角元素. 因此, 本文首
∂X j
先从扩散模型本身的性质出发, 证明扩散模型所得到的估计量本身足以支撑对得分函数海森矩阵的估计. 值得注
n s (X) 的海森矩阵的估计逻辑是一样的, 本文只重点阐述如
c
意的是, 鉴于混合分布的得分函数 s j (X) 和 s (X) 以及
j j
何利用扩散模型估计 s j (X) 的得分函数. 基于分部积分的方式, DDIM 的优化目标公式 (2) 可以被进一步化简为:
[ ]
1 1
2
argmin E p data (x) tr(J x s θ (x))+ s θ (x) , 这里 J x s θ (x) 表示估计得到的得分函数 s θ (x) 的雅可比矩阵, 而 tr 表示计算矩
2
θ 2 2
阵的迹. 鉴于 J x s θ (x) 的计算开销在训练的时候过于高昂, 本文通过引入去噪得分匹配 (denoising score matching,
(
)
2
DSM) [38] 来进一步优化雅可比矩阵. 具体来说, 本文通过加入足够小的噪声变量 q σ (˜x|x) ∼ N ˜x; x,σ I 对原始数据分
∫
布做扰动, 则加噪后的数据分布可以表达为 q σ (˜x) = q σ (˜x|x)· p data (x)dx. 进一步地, 如果添加的噪声足够小, 那么
q σ (˜x) ≈ p data (x), 进而可以得到如下的替代优化表达:

1 [ ]
2
argmin E q σ (˜x|x)p data (x) s θ (˜x)−∇ ˜x logq σ (˜x|x) .
θ 2 2