摘要

深度强化学习在自动变道决策问题中由于它的试错学习的特性,易在训练过程中出现不安全的行为。为此,提出一种基于轨迹预测的安全强化学习自动变道决策方法。首先,通过最大似然估计的概率建模预测车辆的未来行驶轨迹;接着,利用得到的轨迹预测和安全距离指标进行驾驶风险评估,并且根据驾驶风险评估结果进行安全动作约束,将动作空间裁剪为安全动作空间,指导智能车辆避免危险动作;最后,在SUMO仿真平台的高速公路场景中,将所提方法与深度Q网络(DQN)及其改进方法进行测试比较。实验结果表明,所提方法在智能车辆训练过程中保证快速收敛的同时,碰撞发生的次数相较于对比方法降低了47%~56%,有效提高了训练过程中的安全性。