控制与决策

作者：蒋云良,赵康,曹军杰,范婧,刘勇

单位：湖州师范学院 信息工程学院,浙江 湖州 313000;湖州师范学院 浙江省现代农业资源智慧管理 与应用研究重点实验室,浙江 湖州 313000,,浙江师范大学 数学与计算机科学学院,浙江 金华 321004,,浙江大学 智能系统与控制研究所,杭州 310027,,浙江大学 智能系统与控制研究所,杭州 310027,,浙江大学 智能系统与控制研究所,杭州 310027,

关键词：超参数搜索;种群;演化算法;异步并行;深度学习;并行框架

基金：国家自然科学基金项目(61771193)；浙江省重点研发计划项目(2020C01097,2020C02020).

近年来随着深度学习尤其是深度强化学习模型的不断增大,其训练成本即超参数的搜索空间也在不断变大,然而传统超参数搜索算法大部分是基于顺序执行训练,往往需要等待数周甚至数月才有可能找到较优的超参数配置.为解决深度强化学习超参数搜索时间长和难以找到较优超参数配置问题,提出一种新的超参数搜索算法-----基于种群演化的超参数异步并行搜索(PEHS).算法结合演化算法思想,利用固定资源预算异步并行搜索种群模型及其超参数,从而提高算法性能.设计实现在Ray并行分布式框架上运行的参数搜索算法,通过实验表明在并行框架上基于种群演化的超参数异步并行搜索的效果优于传统超参数搜索算法,且性能稳定.

来源：2021年第8期

《控制与决策》期刊编辑部

查看控制与决策杂志2021年第8期