控制与决策

作者：刘畅,陈莹

单位：江南大学 轻工过程先进控制教育部重点实验室,江苏 无锡 214122,,江南大学 轻工过程先进控制教育部重点实验室,江苏 无锡 214122,

关键词：特征分布;均值方差调整;语义信息保留;模型压缩;二值神经网络;模型量化

基金：国家自然科学基金项目(62173160).

二值卷积神经网络(BNNs)由于其占用空间小、计算效率高而受到关注.但由于量化激活特征的正负部分分布不均等问题,二值网络和浮点深度神经网络(DNNs)之间存在着明显的性能差距,影响了其在资源受限平台上的部署.二值网络性能受限的主要原因是特征离散性造成的信息损失以及分布优化不当造成的语义信息消失.针对此问题,应用特征分布调整引导二值化,通过调整特征的均值方差均衡特征分布,减小离散性造成的信息损失.同时,通过分组激励与特征精调模块设计,调整优化量化零点位置,均衡二值化激活分布,最大程度保留语义信息.实验表明,所提出方法在不同骨干网络、使用不同数据集时均能取得较好效果,其中在CIFAR-10上使用ResNet-18网络量化后网络准确率仅损失0.4%,高于当前主流先进二值量化算法.

来源：2024年第6期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第6期