控制与决策

作者：李旭,姚春龙,范丰龙,于晓强

单位：大连工业大学信息科学与工程学院，辽宁大连116034,,大连工业大学信息科学与工程学院，辽宁大连116034,,大连工业大学信息科学与工程学院，辽宁大连116034,,大连工业大学信息科学与工程学院，辽宁大连116034,

关键词：自然语言处理;复述识别;循环神经网络;双向长短时记忆;注意力机制;无监督预训练

基金：国家重点研发计划专项项目(2017YFC0821003-3)；辽宁省高等学校基本科研项目(2017J049)；辽宁省自然科学基金项目(20180550395)；辽宁省教育厅青年科技人才“育苗”项目(J2020113).

传统基于深度学习的复述识别模型通常以关注文本表示为核心,忽略了对多粒度交互特征的挖掘与匹配.为此,建模文本交互空间,分别利用双向长短时记忆网络对两个候选复述句按条件编码,基于迭代隐状态的输出,通过逐词软对齐的方式从词、短语、句子等多个粒度层次推理并获取句子对的语义表示,最后综合不同视角的语义表达利用softmax实现二元分类.为解决复述标注训练语料不足,在超过580000句子对的数据集上利用语言建模任务对模型参数无监督预训练,再使用预训练好的参数在标准数据集上有监督微调.与先前最佳的神经网络模型相比,所提出模型在标准数据集MSRP上准确率提高2.96%,$F_1$值改善2%.所提出模型综合文本全局和局部匹配信息,多粒度、多视角地描述文本交互匹配模式,能够降低对人工特征工程的需求,具有良好的实用性.

来源：2021年第1期

《控制与决策》期刊编辑部

查看控制与决策杂志2021年第1期