控制与决策

作者：桑海峰,刘玉龙,刘泉恺

单位：沈阳工业大学 信息科学与工程学院,沈阳 110870,,沈阳工业大学 信息科学与工程学院,沈阳 110870,,沈阳工业大学 信息科学与工程学院,沈阳 110870,

关键词：行人过街意图预测;交叉注意力机制;自动驾驶;视频分析;计算机视觉;多信息融合

基金：国家自然科学基金项目(62173078)；辽宁省自然科学基金项目(2022-MS-268).

提前预测道路两旁的行人是否存在过街意图或一段时间后是否会出现过街行为是自动驾驶汽车面临的重要挑战之一,如何有效融合不同模态的多元信息是准确预测行人过街意图的重要问题.基于此,提出一种基于混合注意力机制的多信息融合预测模型,使用一种基于交叉注意力机制的图像特征融合网络来提取原始图像与语义图像之间的互补信息,并使模型更加关注与行人过街行为有关的图像部分.同时,提出一种融合注意力机制的分级GRU模块,用以捕捉不同模态的非视觉信息对行人过街意图的影响.在PIE和JAAD数据集上对所提模型进行对比实验,已验证其具有领先于同类研究的性能;针对所提出模块进行广泛的消融实验,表明其有效性.

来源：2024年第12期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第12期