科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了解决多模态情感分析中存在异构鸿沟和语义鸿沟，以及模态无法有效融合等问题。提出了一个新的框架，一种基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR，可以有效的解决多模态语义不对齐、语义噪声等问题，实现多模态数据更好的交互融合。使用多模态特征嵌入模块（MFE）增强视觉和听觉模态的情感信息。通过一个定义良好的模态间语义对齐模块（ISA）进行双模态时间维度的对齐。通过一个模态内的信息细化模块（IIR）进行情感解析和情感细化。通过多模态门控融合模块(MGF)实现模态有效融合。在流行的多模态情感分析数据集上的大量实验证明了CM-SAIR框架与最先进的基线相比的优势。
- 出版日期2023
- 单位华南师范大学
