控制与决策

作者：宋忱,钱惠敏,吴大伟

单位：河海大学 人工智能与自动化学院，江苏 常州 213000,,河海大学 人工智能与自动化学院，江苏 常州 213000,,河海大学 人工智能与自动化学院，江苏 常州 213000,

关键词：人体骨架;行为识别;图卷积神经网络;注意力机制;对比学习机制;双流网络;多路集成

基金：中国航空科学基金项目(2024M034108001).

近年来, 图卷积网络在人体骨架行为识别领域展现出卓越性能. 针对现有基于图卷积的方法存在节点复杂相关性建模的局限, 以及模态间互补信息利用不足的问题, 提出一种多语义动态图卷积网络(MSD-GCN). 该网络为关节-骨骼融合双流架构, 并行处理关节和骨骼模态数据. 双流网络由多个多语义动态图卷积算子(MSD-GC)、多尺度时间卷积算子(MS-TC)和关节-骨骼跨模态对比学习模块(JB-CMCL)组成. 具体而言: MSD-GC算子通过语义感知分层图(SH-Graph)重构高语义粒度分区, 并行执行跨语义空间建模模块(CSSM)捕获全局关节相关性, 以及局部几何建模模块(LGM)捕捉细微运动特征, 以实现多尺度动态特征提取; JB-CMCL则通过跨模态特征对齐和混淆样本辨别机制, 引导双流网络中关节与骨骼模态的特征融合和增强, 以提升模型细粒度识别能力. 在NTU RGB + D、NTU RGB + D 120和Northwestern-UCLA数据集进行广泛实验. 实验结果表明: 所提出组件和整体网络具有极强的性能, 能够较好地识别混淆动作; 与最先进的方法相比, 所提出模型具有极强的竞争力.

来源：2026年第6期

《控制与决策》期刊编辑部

查看控制与决策杂志2026年第6期