控制与决策

作者：夏家伟,朱旭芳,张建强,罗亚松,刘忠

单位：海军工程大学 兵器工程学院,武汉 430033,,海军工程大学 电子工程学院,武汉 430033,,海军工程大学 兵器工程学院,武汉 430033,,海军工程大学 兵器工程学院,武汉 430033,,海军工程大学 兵器工程学院,武汉 430033,

关键词：无人艇;多智能体;强化学习;深度学习;协同围捕;近端策略优化

基金：中国博士后科学基金项目(2016T45686)；湖北省自然科学基金项目(2018CFC865)；全军军事类研究项目(YJ2020B117).

针对多无人艇对海上逃逸目标的围捕问题,提出一种基于多智能体强化学习的围捕算法.首先,以无人艇协同进攻为背景建立无边界围捕问题的环境和运动学模型,并针对快速性和合围性的需求给出围捕成功的判定条件;然后,基于多智能体近端策略优化(MAPPO)算法建立马尔可夫决策过程框架,结合围捕任务需求分别设计兼具伸缩性和排列不变性的状态空间,围捕距离、方位解耦的动作空间,捕获奖励与步长奖励相结合的奖励函数;最后,采用集中式训练、分布式执行的架构完成对围捕策略的训练,训练时采用课程式学习训练技巧,无人艇群共享相同的策略并独立执行动作.仿真实验表明,在无人艇起始数量不同的测试条件下,所提出方法在围捕成功率和时效性上相较于其他算法更具优势.此外,当无人艇节点损毁时,剩余无人艇仍然具备继续执行围捕任务的能力,所提出方法鲁棒性强,具有在真实环境中部署应用的潜力.

来源：2023年第5期

《控制与决策》期刊编辑部

查看控制与决策杂志2023年第5期