控制与决策

作者：邓维斌,李云波,张一明,王国胤,朱坤

单位：重庆邮电大学 计算智能重庆市重点实验室,重庆 400065,,重庆邮电大学 计算智能重庆市重点实验室,重庆 400065,,中国人民解放军78111部队,成都 610031,,重庆邮电大学 计算智能重庆市重点实验室,重庆 400065,,重庆邮电大学 计算智能重庆市重点实验室,重庆 400065,

关键词：生成式文本摘要;序列到序列;预训练模型;卷积门控单元;信息筛选;Transformer模型

基金：国家研发计划项目(2018YFC0832100,2018YFC0832102)；国家自然科学基金重点项目(61936001)；国家自然科学基金项目(61876027)；重庆市自然科学基金创新群体科学基金项目(cstc2019jcyj-cxttX0002).

结合注意力机制的循环神经网络(RNN)模型是目前主流的生成式文本摘要方法,采用基于深度学习的序列到序列框架,但存在并行能力不足或效率低的缺陷,并且在生成摘要的过程中存在准确率低和重复率高的问题.为解决上述问题,提出一种融合BERT预训练模型和卷积门控单元的生成式摘要方法.该方法基于改进Transformer模型,在编码器阶段充分利用BERT预先训练的大规模语料,代替RNN提取文本的上下文表征,结合卷积门控单元对编码器输出进行信息筛选,筛选出源文本的关键内容;在解码器阶段,设计3种不同的Transformer,旨在探讨BERT预训练模型和卷积门控单元更为有效的融合方式,以此提升文本摘要生成性能.实验采用ROUGE值作为评价指标,在LCSTS中文数据集和CNN/Daily Mail英文数据集上与目前主流的生成式摘要方法进行对比的实验,结果表明所提出方法能够提高摘要的准确性和可读性.

来源：2023年第1期

《控制与决策》期刊编辑部

查看控制与决策杂志2023年第1期