控制与决策

作者：罗可,周安众,罗潇

单位：长沙理工大学计算机与通信工程学院，长沙410114,,长沙理工大学计算机与通信工程学院，长沙410114,,长沙理工大学计算机与通信工程学院，长沙410114,

关键词：卷积神经网络;知识迁移;过拟合;梯度弥散;预训练;微调

基金：国家自然科学基金项目(11671125,71371065,51707013).

针对深层卷积神经网络在有限标记样本下训练时存在的过拟合和梯度弥散问题,提出一种从源模型中迁移知识训练一个深层目标模型的策略.迁移的知识包括样本的类别分布和源模型的低层特征,类别分布提供了样本的类间相关信息,扩展了训练集的监督信息,可以缓解样本不足的问题;低层特征包含样本的局部特征,在相关任务的迁移过程中具有一般性,可以使目标模型跳出局部最小值区域.利用这两部分知识对目标模型进行预训练,能够使模型收敛到较好的位置,之后再用真实标记样本进行微调.实验结果表明,所提方法能够增强模型的抗过拟合能力,并提升预测精度.

来源：2019年第3期

《控制与决策》期刊编辑部

查看控制与决策杂志2019年第3期