Page 156 - 《软件学报》2026年第5期

廖家俊 等: TB-Match: 融合条件扩散模型与近端策略优化的弹性时间约束运单分配方法 2035

3.3 端到端优化与梯度流控制
TB-Match 框架通过一个组合式的多组件损失函数进行端到端优化, 该函数旨在协同训练偏好表示模块 (第
4.1 节) 与分层匹配决策智能体 (第 4.2 节). 本节将详细阐述该目标函数, 并解析模块间的信息流与梯度控制机制.
3.3.1 总体损失函数
框架的总损失 L total 由偏好表示损失、分层决策损失以及辅助损失这 3 部分组成:

( )
H L
L total = λ pref (L CDDPM +L S )+λ rl L +L +L aux (10)
RL RL
其中, 各项定义如下.
● 偏好表示损失 (L CDDPM +L S ): 这部分负责训练偏好表示模块. L CDDPM (公式 (6)) 训练扩散模型以学习时间弹
性的条件分布; L S 是用于训练最终接单概率预测网络的二元交叉熵损失. λ pref 是其权重.
H
● 分层决策损失 ( L +L L ) : 这部分负责训练分层强化学习智能体. L 和 L 分别是高层和低层策略网络
H
L
RL RL RL RL
基于 PPO 算法的损失函数, 每个损失都包含策略裁剪项、价值函数项和熵奖励项. λ rl 是其权重.
● 辅助损失 (L aux ): 包括所有网络参数的 L2 正则化项, 以防止过拟合.
3.3.2 梯度传播路径与训练稳定性机制
在训练中仍需要解决的一个问题是, 强化学习信号 (奖励) 如何反向传播以优化上游的偏好表示网络. 为此,
我们对模型整体的梯度流进行了梳理, 并采用梯度隔离策略进一步提升模型训练时的稳定性.
① 信息流路径: 偏好表示模块输出的接单概率 S(d,o) 是连接表示学习与决策学习的关键桥梁. 具体而言, 低
L
层策略的奖励 R 直接依赖于 S(d,o) (见公式 (9)), 而 S(d,o) 又是偏好表示网络 (参数为 θ pref ) 的可微输出. 因此,
t
存在一条从 RL 损失到偏好表示网络的梯度路径:

∂L RL ∂ ˆ A L ∂R L ∂S(d,o)
∂L RL t t
= (11)
L L
∂θ pref ∂R t ∂S(d,o) ∂θ pref
∂ ˆ A t
L
其中, ˆ A 是低层策略的优势函数. 此梯度流使得智能体在决策时, 不仅会优化其分配策略, 还会通过奖励信号, 隐
t
式地指导偏好表示网络生成更有利于获得高奖励的偏好分数.
② 训练稳定性控制: 完全端到端的训练可能因 RL 信号的高方差而导致不稳定. 为解决此问题, 我们基于多目
标强化学习中的训练稳定性分析设计了一种梯度隔离策略. 具体而言, 当 S(d,o) 同时作为状态输入和奖励计算的
组成部分时, 会形成循环依赖的梯度路径, 导致训练过程中的非平稳性问题 [26] .
为提升训练中的稳定性, 当 S(d,o) 作为 RL 智能体状态 (state) 的一部分输入时, 将其视为常数 (即 “detach()”操
作), 切断其梯度回传, 从而避免扩散噪声在策略梯度中被放大而引起的非平稳性. 仅当 S (d,o) 用于计算奖励 (reward)
时, 该梯度将被保留, 确保奖励信号中的梯度仍能有效回传, 使偏好表示网络能够根据其输出对最终决策的贡献进
行优化. 这种选择性梯度传播策略在理论上等价于在偏好学习和策略学习之间建立了一个“软解耦”机制, 既保持
了两个模块间的信息交互, 又避免了训练不稳定和目标冲突问题.
3.4 计算复杂度分析
为了评估 TB-Match 在实际部署中的可行性, 我们分析了其在推理阶段 (即生成一次批处理分配决策) 的计算
复杂度.
(1) 偏好表示生成: 对于一个包含 |D| 个司机和 |O| 个订单的批次, 最坏情况是为所有可能的 |D|×|O| 对计算偏好.
( )
2
● Transformer: 对于每个司机, 需要处理其长度为 K 的历史序列, 复杂度为 O |D|· K ·d , 其中 d 是模型隐藏
维度. 此步骤可预先计算并缓存.
● 条件扩散模型: 对每个候选对 (d,o), CDDPM 采样需要 S 步, 每步网络计算复杂度为 C denoiser . 总复杂度为
O(|D||O|·S ·C denoiser ).
(2) 匹配决策生成
● 高层策略网络: 其状态维度固定, 计算开销可忽略, 为 O(1).
(
)
● 低层策略网络: 需要评估所有候选对的分数, 复杂度为 O |D||O|·C policy , 其中 C policy 是低层策略网络的单次