控制与决策

作者：莫建文,陈瑶嘉

单位：桂林电子科技大学 认知无线电与信息处理省部共建教育部重点实验室,广西 桂林 541004;桂林电子科技大学 信息与通信学院,广西 桂林 541004,,桂林电子科技大学 信息与通信学院,广西 桂林 541004,

关键词：类增量学习;灾难性遗忘;分类特征约束;变分自编码器;精馏标签;伪样本选择

基金：国家自然科学基金项目(61661017,61967005,U1501252)；广西自然科学基金项目(2017GXNSFBA 198212)；广西科技基地和人才专项(桂科AD19110060)；中国博士后科学基金面上项目(2016M602923 XB)；认知无线电教育部重点实验室项目(CRKL150103,CRKL190107,CRKL160104)；桂林电子科技大学研究生创新项目(2019YCXS020).

针对神经网络模型进行类增量训练时产生的灾难性遗忘问题,提出一种基于分类特征约束变分伪样本生成器的类增量学习方法.首先,通过构造伪样本生成器记忆旧类样本来训练新的分类器及新的伪样本生成器.伪样本生成器以变分自编码器为基础,用分类特征进行约束,使生成的样本更好地保留旧类在分类器上的性能.然后,用旧分类器的输出作为伪样本的精馏标签,进一步保留从旧类获得的知识.最后,为了平衡旧类样本的生成数量,采用基于分类器分数的伪样本选择,在保持每个旧类伪样本数量平衡的前提下选择一些更具代表性的旧类伪样本.在MNIST、FASHION、E-MNIST和SVHN数据集上的实验结果表明,所提出的方法能有效减少灾难性遗忘的影响,提高图像的分类精度.

来源：2021年第10期

《控制与决策》期刊编辑部

查看控制与决策杂志2021年第10期