控制与决策

作者：胡枫,吴义熔,董方敏,邹耀斌,孙水发

单位：三峡大学 计算机与信息学院,湖北 宜昌 443002,,三峡大学 计算机与信息学院,湖北 宜昌 443002;智慧医疗宜昌市重点实验室,湖北 宜昌 443002,,三峡大学 计算机与信息学院,湖北 宜昌 443002,,三峡大学 计算机与信息学院,湖北 宜昌 443002,,三峡大学 计算机与信息学院,湖北 宜昌 443002;智慧医疗宜昌市重点实验室,湖北 宜昌 443002,

关键词：深度学习;循环神经网络;简单循环单元;高速公路网络;激活函数;梯度消失

基金：国家自然科学基金项目(61871258)；NSFC-新疆联合基金重点项目(U1703261)；国家重点研发计划项目(2016YFB0800403).

基于可以并行化计算的简单循环单元(simple recurrent unit,SRU)网络,引入高速公路网络(highway- networks)的连接思想,提出高速简单循环单元(H-SRU)网络:一方面利用非饱和激活函数可以有效缓解梯度消失的性质,将原有SRU结构里单元状态和隐状态的激活函数替换为非饱和激活函数;另一方面在SRU的单元状态表示中引入高速公路网络所采用的前馈链接思想,使网络对梯度变化更敏感;在此基础上,基于PTB(penn treebank dataset)和WikiText-2两个数据集构建语言模型,以验证所提方法的有效性.实验结果表明,所设计的高速简单循环单元网络H-SRU在保持SRU原有训练速度优势的同时,可较大地提高网络的性能.在WikiText-2数据集上所提方法的困惑度PPL值达到了26.1,这是目前已知最好效果,而且其效率也比已知的非SRU网络高.

来源：2022年第2期

《控制与决策》期刊编辑部

查看控制与决策杂志2022年第2期