一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质

摘要

一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质，方法包括：数据预处理；特征提取；特征融合；训练模型；任务迁移；系统、设备及介质：用于实现一种基于自注意力机制融合的多模态情感识别方法；本发明通过对比学习的方法来微调预训练模型，从而获得模态之间的相关性信息，并以自注意力机制进行特征融合，同时设计了三种不同的迁移函数，以此来适配不同的下游任务，在提升模型准确度的同时，提高了算法的迁移性和鲁棒性，使得模型的应用范围更广。

关键词