控制与决策

作者：唐媛,陈莹

单位：江南大学 轻工过程先进控制教育部重点实验室,江苏 无锡 214122,,江南大学 轻工过程先进控制教育部重点实验室,江苏 无锡 214122,

关键词：深度学习;模型压缩;知识蒸馏;图像分类;注意力机制;背景知识

基金：国家自然科学基金项目(62173160).

自知识蒸馏降低了对预训练教师网络的依赖,但是其注意力机制只关注图像的主体部分,一方面忽略了携带有颜色、纹理信息的背景知识,另一方面空间注意力的错误聚焦情况可能导致主体信息遗漏.鉴于此,提出一种基于动态混合注意力的自知识蒸馏方法,合理挖掘图像的前背景知识,提高分类精度.首先,设计一个掩膜分割模块,利用自教师网络建立注意力掩膜并分割出背景特征与主体特征,进而提取背景知识和遗漏的主体信息;然后,提出基于动态注意力分配策略的知识提取模块,通过引入基于预测概率分布的参数动态调整背景注意力和主体注意力的损失占比,引导前背景知识相互协作,逐步优化分类器网络对图像的关注,提高分类器网络性能.实验结果表明:所提出方法使用ResNet18网络和WRN-16-2网络在CIFAR100数据集上的准确率分别提升了2.15%和1.54%;对于细粒度视觉识别任务,使用ResNet18网络在CUB200数据集和MIT67数据集上的准确率分别提高了3.51%和1.05%,其性能优于现有方法.

来源：2024年第12期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第12期