Page 245 - 《软件学报》2026年第6期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
2026,37(6):2564−2583 [doi: 10.13328/j.cnki.jos.007547] [CSTR: 32375.14.jos.007547] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

*
隐变量因果模型视角下的策略梯度方差优化

蔡瑞初 1 , 林富艺 1 , 陈 薇 1 , 朱海鹏 1 , 郝志峰 1,2

1
(广东工业大学 计算机学院, 广东 广州 510006)
2
(汕头大学 数学与计算机学院, 广东 汕头 515063)
通信作者: 陈薇, E-mail: weichen@gdut.edu.cn

摘 要: 深度强化学习已在多个领域取得了显著突破, 其中策略梯度算法因适用于处理非线性和高维状态空间的
问题而被广泛采用. 然而, 现有策略梯度算法在实际应用中仍面临高方差问题, 这会导致算法收敛速度变慢, 甚至
可能陷入次优解. 针对这一挑战, 从隐变量因果模型的视角提出一种策略梯度方差优化方法. 通过引入隐变量刻画
未观测随机信息, 构建并学习隐变量因果模型. 基于隐变量因果模型, 提出因果价值函数, 结合长短期记忆网络, 根
据时效性区分衡量未观测随机信息对价值估计的影响作用, 提高动作优势函数预估的准确性, 降低策略梯度方差.
实验表明, 与前沿的同类算法相比, 基于隐变量因果模型的方法在多个任务中更具有优越性和稳定性.
关键词: 深度强化学习; 策略梯度; 方差优化; 隐变量因果模型; 因果价值函数
中图法分类号: TP183

中文引用格式: 蔡瑞初, 林富艺, 陈薇, 朱海鹏, 郝志峰. 隐变量因果模型视角下的策略梯度方差优化. 软件学报, 2026, 37(6):
2564–2583. http://www.jos.org.cn/1000-9825/7547.htm
英文引用格式: Cai RC, Lin FY, Chen W, Zhu HP, Hao ZF. Variance Optimization of Policy Gradients from Latent Variable Causal
Model Perspective. Ruan Jian Xue Bao/Journal of Software, 2026, 37(6): 2564–2583 (in Chinese). http://www.jos.org.cn/1000-9825/
7547.htm

Variance Optimization of Policy Gradients from Latent Variable Causal Model Perspective
1
1
1
1
CAI Rui-Chu , LIN Fu-Yi , CHEN Wei , ZHU Hai-Peng , HAO Zhi-Feng 1,2
1
(School of Computer Science and Technology, Guangdong University of Technology, Guangzhou 510006, China)
2
(College of Mathematics and Computer Science, Shantou University, Shantou 515063, China)
Abstract: Deep reinforcement learning has achieved significant breakthroughs in various fields, with policy gradient algorithms widely
adopted due to their suitability for handling nonlinear and high-dimensional state spaces. However, in practical applications, existing policy
gradient algorithms still suffer from high variance, which slows convergence and may cause suboptimal solutions. To tackle this challenge,
a variance optimization method for policy gradients is proposed from a latent variable causal model perspective. By introducing latent
variables to characterize unobserved random information, a latent variable causal model is constructed and learned. Utilizing this model, a
causal value function is proposed and combined with long short-term memory (LSTM) networks to differentiate the temporal impact of
unobserved information on value estimation. This approach improves the accuracy of action advantage function estimation and reduces
policy gradient variance. Experiments demonstrate that the proposed latent variable causal model outperforms state-of-the-art algorithms
across multiple tasks, with better performance and stability.
Key words: deep reinforcement learning; policy gradient; variance optimization; latent variable causal model; causal value function
深度强化学习 [1] 通过深度神经网络高效拟合价值函数和策略函数, 已经在游戏 [2] 、自动驾驶 [3] 和机器人控
制 [4,5] 等领域取得了广泛的应用. 其中, 策略梯度算法 [6] 通过沿着累计奖励增大的方向直接优化策略参数, 在处理
非线性 [7] 和高维状态空间 [8] 相关的环境场景具有显著优势. 然而, 由于实际应用中策略和环境的随机性 [9] , 将现有

* 基金项目: 新一代人工智能国家科技重大专项 (2021ZD0111500); 国家优秀青年科学基金 (62122022); 国家自然科学基金 (62206064)
收稿时间: 2024-07-08; 修改时间: 2025-01-16; 采用时间: 2025-09-03; jos 在线出版时间: 2026-01-14
CNKI 网络首发时间: 2026-01-15