Page 152 - 《软件学报》2021年第8期

2434 Journal of Software 软件学报 Vol.32, No.8, August 2021

t
其中, AVG _W 表示执行完第 t 次动作后所有车辆的平均等待时间.
all
• 针对问题 3,需要进行对比实验 3.
在同一个多路口场景中,分别使用本文方法训练的模型与固定时长方法控制交通灯,对比两种控制方式下
车辆的通行效率.在本实验中,使用 3×3 一共 9 个交通灯控制路口的环境设置,相邻路口之间相互连通.每个路口
的环境设置与对比实验 1 相同.与实验 1 类似,本实验的车流也由 SUMO 随机生成,但本实验的车流均从边界驶
入路网,并且经由边界驶出路网.设置特殊车辆与普通车辆的比例为 1:500,令普通车辆每秒驶入 5 辆,特殊车辆
每 100s 驶入一辆.固定时长交通灯控制的设置与实验 1 相同.
实验所使用的 CPU 型号为 Intel i7-8700k,使用的图形处理器型号为 GeForce GTX 1080Ti,操作系统为
Ubuntu 18.04,Python 版本为 3.7,机器学习平台为 Tensorflow v1.14.0 以及 Keras v2.1.0.使用的城市交通模拟器
为 SUMO v1.6.0.实验参数设置如下:模型训练采用 Adam 优化器,学习率设为 0.000 1.设置经验回放池大小为
2 000,训练批次大小 batch_size 为 64.设置奖励衰减系数γ为 0.8.设置初始最大动作选择系数ε max 为 1,动作系数
衰减率ε decay 为 0.95,最小动作选择系数ε min 为 0.01.
3.2 实验结果分析
3.2.1 实验 1:单路口场景中本文算法与固定时长方法的结果对比
为了回答问题 1,我们在单路口进行实验,对比在同一种环境下,使用本文提出的方法控制交通灯与使用固
定时长逻辑控制交通灯对车辆通行效率的影响.在本实验中,设置奖励平衡系数α为 0.6.本实验主要评价两个通
行效率指标.
• 一是平均等待时间,以 s 为单位,它的值等于在一轮训练过程中所有经过路口的车在该路口的等待时间
的总和除以车的数量.这里,为了区分对不同优先级的车辆的效果,分别计算特殊车辆与普通车辆的平
均等待时间.
• 二是平均队列长度,以辆为单位,它是指在这一轮训练过程中,每一步各个入向车道排队总长度的平均
值 [34] .
对比实验 1 训练了 150 轮,实验结果如图 6 所示.

Fig.6 Results comparison of our algorithm and fixted-time method in single intersection secnario
图 6 单路口场景中,本文算法与固定时长方法的结果对比
左图表示特殊车辆与普通车辆的平均等待时间对比,可以看出,在使用固定时长逻辑控制交通灯时,特殊车
辆的平均等待时间为 170s 左右,普通车辆的平均等待时间为 135s 左右.之所以出现特殊车辆的平均等待时间大
于普通车辆的情况,原因有两点:一是排在前面的普通车辆影响了在其后面的特殊车辆的通行;二是特殊车辆总
体数量较少,单个车辆对平均等待时间的影响较大.在使用本文方法训练的模型对交通灯进行控制之后,特殊车
辆的平均等待时间降到了 65s 左右,普通车辆的平均等待时间降到了 90s 左右.与固定时长逻辑相比,特殊车辆
的平均等待时间降低了 105s 左右,普通车辆的平均等待时间降低了 45s 左右.