Page 226 - 《软件学报》2025年第8期

田丽丽 等: 因果时空语义驱动的深度强化学习抽象建模方法 3649

ˆ T .
输出: 抽象迁移空间
1. 初始化抽象迁移空间 ˆ T ← 0, refined ← false
2. while !refined do
3. for (ˆs, ˆa) ∈ ˆ S × ˆ A do
′
4. for ˆ s ∈ ˆ S do
5. ˆ p ← 根据公式 (8) 计算迁移概率 (ˆs, ˆa, ˆs )
′
6. end for
7. end for
8. error ← 根据霍夫丁不等式计算
9. for (ˆs, ˆa) ∈ ˆ S × ˆ A do

10. if error < 阈值 ε then
11. ˆ T.add(ˆs× ˆa → ˆs, ˆp)
12. refined=true
13. end if
14. end for
15. end while
ˆ T
16. 返回抽象迁移空间

5 实验分析

5.1 实验案例
本文的实验案例基于 3 个不同主题的自动驾驶场景, 涵盖了自动驾驶领域中最为常见且最重要的驾驶环境.
由于真实的实验环境限制, 我们的方法聚焦于 Carla 仿真环境, 并采用了高维数据来尽可能模拟真实环境. 通过对
比分析这些实验结果, 可以更全面地理解基于时空价值语义抽象的 ICPS 在不同驾驶情境中的表现与应用.
● 车道保持辅助 (lane keeping assist, LKA). LKA [30] 是一种高级驾驶辅助系统, 旨在帮助驾驶员将车辆保持在
车道内行驶. LKA 在实现自动化驾驶和提高驾驶安全性方面起着关键作用. 该系统通过测量车辆与道路中心线之
间的横向偏移 d lat 和相对偏航角 θ yaw , 并通过调整前轮转向角 θ steer 来保持车辆沿中心线行驶. LKA 的目标是使横向
偏移和偏航角都趋近于 0.
● 自适应巡航控制 (adaptive cruise control, ACC). ACC [30] 是一种智能驾驶辅助系统, 其功能是自动调整车辆
d rel 始终大于安全
速度以保持与前车的安全距离. 该系统通过控制智能体的加速度 a ego , 保持两车之间的相对距离
v set . 前车的移动由前车的加速度
距离 d safe . 当确保安全距离后, 系统会使智能体尽可能达到用户设定的巡航速度
a lead 控制, 而安全距离则基于两车的相对速度动态变化.
● 交叉路口会车辅助 (intersection crossroad assistant, ICA). ICA [30] 是一种先进的驾驶辅助系统, 旨在复杂的交
叉路口环境中提供支持, 以增强驾驶安全性. ICA 系统集成了 LKA 和 ACC 的特性, 能够确定最佳的行驶速度和方
向, 确保车辆在行驶过程中始终保持在正确的轨道上. 此外, ICA 还具备随机性和混合性的特性. 随机性体现在在
面对复杂、难以预测的实际驾驶环境时, 系统能够做出适应并保持稳定控制. 混合性则表现在系统能够综合运用
多种驾驶策略和技术, 并根据实际需要灵活切换, 以提高系统应对复杂情况的能力.
在本文中, 所设计的 ICA 场景包括两条相互垂直的双向双车道、一辆智能体车辆和多辆环境车辆, 智能体需
通过左转、直行或右转等方式, 成功通过十字路口并抵达终点, 同时避免驶出道路或与环境车辆发生碰撞. 系统的
观测值需涵盖 LKA 和 ACC 所包括的维度.