科研之友
微信
新浪微博
Facebook
分享链接
摘要
多模态情感表征的关键是有效地从多模态数据中提取和融合特征。尽管，交叉注意力机制的方法能够增强多模态数据的特征融合；但是，交叉注意力仅建立单一模态的全局语义与另一模态局部特征的关联，不足以反映多模态在局部特征上的对齐关系。为了获取多模态间的深度交互信息，提出一种模态交互图神经网络，借助于方面词，将不同模态的语义单元进行连接，形成多模态交互图；然后，利用图注意力网络中的消息传递机制进行特征融合。在两个基准数据集上的实验结果表明，相比于当前先进的注意力模型，模态交互图神经网络在实现局部信息间的特征交互方面更加有效，且具有更小的时间复杂度。
- 出版日期2023
- 单位西南石油大学
