控制与决策

作者：王会勇,论兵,张晓明,孙晓领

单位：河北科技大学信息科学与工程学院，石家庄050018,,河北科技大学信息科学与工程学院，石家庄050018,,河北科技大学信息科学与工程学院，石家庄050018,,河北科技大学信息科学与工程学院，石家庄050018,

关键词：多模态数据;知识表示学习;知识图谱;多模态实体对齐;翻译模型;种子集合

基金：国家自然科学基金项目(51271033)；河北省自然科学基金项目(F2018208116)；河北省研究生创新项目(CXZXZSS2018092).

基于知识表示学习的实体对齐方法是将多个知识图谱嵌入到低维语义空间,通过计算实体向量之间的相似度实现对齐.现有方法往往关注文本信息而忽视图像信息,导致图像中实体特征信息未得到有效利用.对此,提出一种基于联合知识表示学习的多模态实体对齐方法(ITMEA).该方法联合多模态(图像、文本)数据,采用TransE与TransD相结合的知识表示学习模型,使多模态数据能够嵌入到统一低维语义空间.在低维语义空间中迭代地学习已对齐多模态实体之间的关系,从而实现多模态数据的实体对齐.实验结果表明,ITMEA在WN18-IMG数据集中能够较好地实现多模态实体对齐.

来源：2020年第12期

《控制与决策》期刊编辑部

查看控制与决策杂志2020年第12期