控制与决策

作者：李永福,周发涛,黄龙旺,于树友,施树明

单位：重庆邮电大学 智能空地协同控制重庆市高校重点实验室,重庆 400065,,重庆邮电大学 智能空地协同控制重庆市高校重点实验室,重庆 400065,,重庆邮电大学 智能空地协同控制重庆市高校重点实验室,重庆 400065,,吉林大学 控制科学与工程系,长春 130012,,吉林大学 交通学院,长春 130012,

关键词：车辆队列;深度确定性策略梯度;强化学习;燃油消耗;V2X;PreScan

基金：国家自然科学基金项目(U1964202,62273027)；重庆市自然科学基金创新发展联合基金项目(CSTB2022NSCQ-LZX0025)；重庆市教育委员会科学技术研究项目(KJZD-M202300602).

针对车辆队列中多目标控制优化问题,研究基于强化学习的车辆队列控制方法.控制器输入为队列各车辆状态信息以及车辆间状态误差,输出为基于车辆纵向动力学的期望加速度,实现在V2X通信下的队列单车稳定行驶和队列稳定行驶.根据队列行驶场景以及采用的间距策略、通信拓扑结构等特性,建立队列马尔科夫决策过程(Markov decision process,MDP)模型.同时根据队列多输入-多输出高维样本特性,引入优先经验回放策略,提高算法收敛效率.为贴近实际车辆队列行驶工况,仿真基于PreScan构建多自由度燃油车动力学模型,联合Matlab/ Simulink搭建仿真环境,同时引入噪声对队列控制器中动作网络和评价网络进行训练.仿真结果表明基于强化学习的车辆队列控制燃油消耗更低,且控制器实时性更高,对车辆的控制更为平滑.

来源：2024年第6期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第6期