控制与决策

作者：彭冬亮,王天兴

单位：杭州电子科技大学自动化学院，杭州310018,,杭州电子科技大学自动化学院，杭州310018,

关键词：剪枝算法;GoogLeNet;Inception模块;权重阈值;参数冗余;过拟合

基金：国家自然科学基金项目(61703128)；近地探测重点实验室基金项目(614241404030717).

GoogLeNet包含多个并行的卷积层和池化层,极具表现力,但也导致其参数数量冗余和计算量大,解决该问题的根本途径是将网络稀疏化.剪枝算法通过训练网络、修剪低权重连接和再训练网络三步操作,只保留卷积层和完全连接层中的强相关连接,实现简化网络结构和参数数量的效果,获得近似的网络模型,不影响网络后验概率估计的准确性,达到压缩效果.传统计算方式不适合非均匀稀疏数据结构,所提出的阈值剪枝算法设定合适的阈值,将原始GoogLeNet模型中将近1040万参数减少到65万,大约压缩了16倍.原始网络在进行剪枝处理后,准确率会有所降低,但经过少数次迭代,网络的准确率与原始模型不相上下,达到了压缩模型的效果,验证了阈值剪枝算法对改进GoogLeNet模型训练过程的有效性.

来源：2019年第6期

《控制与决策》期刊编辑部

查看控制与决策杂志2019年第6期