控制与决策

作者：潘杰,郑学驰,邹筱瑜

单位：中国矿业大学 信息与控制工程学院,江苏 徐州 221116,,中国矿业大学 信息与控制工程学院,江苏 徐州 221116,,中国矿业大学 机电工程学院,江苏 徐州 221116,

关键词：卷积神经网络;可微分结构搜索;通道注意力;通道排序;离散化误差;温度正则化系数

基金：国家自然科学基金项目(62176258,62273349,52174152)；中央高校基本科研业务费专项资金项目(2021YCPY0111)；江苏省高校优势学科建设工程资助项目(PAPD).

卷积神经网络的表征与预测能力往往依赖结构合理性,但其主流结构均由人工设计,存在设计难度高、算力要求强、时间开销大等问题.如何让神经网络自主搜索合理结构并节约计算资源是当前的研究重点.目前,基于部分通道连接的可微分结构搜索算法,以其高效的显存利用率在搜索速度和分类性能上表现良好.然而,其针对通道的随机采样策略易造成重要信息丢失,当通道连接不足时性能明显下降.为此,提出一种基于通道性能度量的神经网络结构搜索算法,利用注意力机制提取通道重要性系数,并以此对通道进行排序采样.此外,考虑到预热阶段导致搜索不充分,产生较大离散化误差,在结构权重连续化的过程中设计温度正则化系数,提升权重差异.实验表明,所提算法能够在节约计算资源的基础上搜索出更优的卷积神经网络结构.

来源：2024年第7期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第7期