控制与决策

作者：刘云飞,张俊然

单位：四川大学 电气工程学院,成都 610065,,四川大学 电气工程学院,成都 610065,

关键词：卷积神经网络;学习率;深度学习;模型训练

基金：智能电网四川省重点实验室应急重点项目(020IEPG-KL-20YJ01)；德阳科技(揭榜)项目(2021JBJZ007)；四川大学华西医院1-3-5优秀学科项目(ZYJC21041)；四川省科技计划项目(2022YFS0178).

学习率(learning rate,LR)是深度神经网络(deep neural networks,DNNs)能够进行有效训练的重要超参数.然而,学习率的调整在DNNs训练过程中仍存在诸多困难与挑战,即使以恒定的学习率选择为目标,为训练DNNs选择一个最优的恒定初始学习率也非易事.动态学习率涉及到训练过程的不同阶段,需对学习率进行多步调整以达到高精确度和快速收敛的目的:调整过程中学习率过小可能会导致模型收敛缓慢或陷入局部最优值;而学习率过大则会阻碍收敛,造成震荡发散.对此,综述了近年来基于深度学习算法的学习率研究进展,并对分段衰减学习率、平滑衰减学习率、循环学习率、具有热启动的学习率4种类型的学习率簇在几个常见数据集上的性能表现进行测试分析和对比研究,包括收敛速度、鲁棒性和均值方差等.最后总结全文,并对该领域仍存在的问题以及未来的研究趋势进行展望.

来源：2023年第9期

《控制与决策》期刊编辑部

查看控制与决策杂志2023年第9期