控制与决策

作者：李艳,沈韬,曾凯

单位：昆明理工大学 信息工程与自动化学院,昆明 650500,,昆明理工大学 信息工程与自动化学院,昆明 650500,,昆明理工大学 信息工程与自动化学院,昆明 650500,

关键词：行人重识别;语义对齐;差异性特征注意力;跨模态;素描图像;空间差异正则化

基金：国家自然科学基金项目(61671225,61971208,61702128)；云南省应用基础研究计划重点项目(2018 FA043)；云南省中青年学术技术带头人后备人才项目(2019HB005)；云南省万人计划青年拔尖人才项目(2018 73).

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和mAP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.

来源：2022年第12期

《控制与决策》期刊编辑部

查看控制与决策杂志2022年第12期