基于自适应权值融合的多模态情感分析方法

作者：罗渊贻; 吴锐^*; 刘家锋; 唐降龙

来源：软件学报, 2023, 1-13.

DOI：10.13328/j.cnki.jos.006998

• 多模态情感分析
• 学习平衡
• 多模态融合
• 自适应学习

多模态情感分析是利用多种模态的主观信息对情感进行分析的一种多模态任务,探索模态间的有效交互是多模态分析中的一项重要研究.在最近的研究中发现,由于模态的学习速率不平衡,导致单个模态收敛时,其余模态仍处于欠拟合的状态,进而削弱了多模态协同决策的效果.为了能更有效地将多种模态结合,学习到更具有表达力的情感特征表示,提出一种基于自适应权值融合的多模态情感分析方法.所提方法分为两个阶段:第1个阶段是根据不同模态的学习梯度差异自适应地改变单模态特征表示的融合权值,实现动态调整模态学习速率的目的,把该阶段称为B融合(balanced fusion).第2个阶段是为了消除B融合的融合权值对任务分析的影响,提出模态注意力探究模态对任务的贡献,并根据贡献为各模态分配权重,我们把该阶段称为A融合(attention fusion).用于情感分析的多模态表示由B融合和A融合的结果共同组成.实验结果显示,将B融合方法引入现有的多模态情感分析方法中,能够有效提升现有方法对情感分析任务的分析准确度;消融实验结果显示,在B融合的基础上增加A融合方法能有效减小B融合权重对任务的影响,有利于提升情感分析任务的准确度.与现有的多模态情感分析模型相比,所提方法结构更简单、运算时间更少,且任务准确率优于对比模型,表明所提方法在多模态情感分析任务中的高效性和优异性能.

• 出版日期2023
• 单位哈尔滨工业大学