控制与决策

作者：刘琴,谢珺,胡勇,郝戍峰,郝雅卉

单位：太原理工大学 信息与计算机学院,太原 030024,,太原理工大学 信息与计算机学院,太原 030024,,北京航空航天大学 新媒体艺术与设计学院,北京 100191,,太原理工大学 大数据学院,太原 030024,,太原理工大学 信息与计算机学院,太原 030024,

关键词：情感计算;对话情绪识别;多模态特征;外部常识知识;上下文语义;知识特征融合

基金：虚拟现实技术与系统国家重点实验室(北京航空航天大学)开放课题基金项目(VRLAB2022C11)；山西省基础研究计划青年科学研究项目(20210302124168)；山西省留学人员科技活动择优资助项目(20220009)；山西省重点研发计划项目(202102020101004).

多模态对话情绪识别旨在根据多模态对话语境判别出目标话语所表达的情绪类别,是构建共情对话系统的基础任务.现有工作中大多数方法仅考虑多模态对话本身信息,忽略了对话中与倾听者和说话者相关的知识信息,从而限制了目标话语情绪特征的捕捉.为解决该问题,提出一种基于听说知识融合网络的多模态对话情绪识别模型(LSKFN),引入与倾听者和说话者相关的外部常识知识,实现多模态上下文信息和知识信息的有机融合.LSKFN包含多模态上下文感知、听说知识融合、情绪信息汇总和情绪决策4个阶段,分别用于提取多模态上下文特征、融入听说知识特征、消除冗余特征和预测情绪分布.在两个公开数据集上的实验结果表明,与其他基准模型相比,LSKFN能够为目标话语提取到更加丰富的情绪特征,并且获得较好的对话情绪识别效果.

来源：2024年第6期

《控制与决策》期刊编辑部

查看控制与决策杂志2024年第6期