控制与决策

作者：刘世同,张云洲,单德兴,金阳,宁健

单位：东北大学 信息科学与工程学院,沈阳 110819,,东北大学 信息科学与工程学院,沈阳 110819,,东北大学 信息科学与工程学院,沈阳 110819,,东北大学 信息科学与工程学院,沈阳 110819,,东北大学 信息科学与工程学院,沈阳 110819,

关键词：缺陷分割;小样本学习;多模态融合;原型学习;遗忘补偿;动态匹配

基金：国家自然科学基金项目(61973066)；辽宁省科技计划重大项目子课题(2021JH1/10400049).

基于深度学习的缺陷分割技术对于保证生产效率和改善产品质量至关重要.然而,在实际应用中有许多领域无法收集大规模的缺陷样本,导致传统缺陷检测方法性能急剧下降.此外,缺陷区域存在尺寸小、纹理信息弱以及与无缺陷区域对比不明显的问题,进一步阻碍了视觉缺陷检测技术的实际应用.对此,提出一种基于视觉与点云的多模态小样本缺陷分割方法,通过采用跨模态注意力聚合RGB语义信息和点云结构信息,实现两种模态的高效融合;然后,结合多模态特征与支持掩码生成基本前景原型、自适应背景原型和遗忘补偿原型,提升支持原型的表征能力;进而,根据相似性动态地匹配原型与查询特征,并在特征丰富化后完成对未见过物体缺陷的有效分割.在Defect-3i和Mvtec 3D-2i两个小样本缺陷分割数据集上的实验表明,所提出算法在单样本(1-shot)和五样本(5-shot)两种设置中的平均交并比(mIoU)分别超过其他先进小样本算法0.11%和0.20%、5.23%和5.10%,验证了所提出小样本架构的合理性与多模态网络的先进性.

来源：2024年第11期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第11期