科研之友
微信
新浪微博
Facebook
分享链接
摘要
目前，基于多模态融合的语音情感识别模型普遍存在无法充分利用多模态特征之间的共性和互补性、无法借助样本特征间的拓扑结构特性对样本特征进行有效地优化和聚合，以及模型复杂度过高的问题。为此，引入图神经网络，一方面在特征优化阶段，将经过图神经网络优化后的文本特征作为共享表示重构基于声学特征的邻接矩阵，使得在声学特征的拓扑结构特性中包含文本信息，达到多模态特征的融合效果；另一方面在标签预测阶段，借助图神经网络充分聚合当前节点的邻接节点所包含的相似性信息对当前节点特征进行全局优化，以提升情感识别准确率。同时为防止图神经网络训练过程中可能出现的过平滑问题，在图神经网络训练前先进行图增强处理。在公开数据集IEMOCAP和RAVDESS上的实验结果表明，所提出的模型取得了比基线模型更高的识别准确率和更低的模型复杂度，并且模型各个组成部分均对模型性能提升有所贡献。
- 出版日期2023
- 单位华东理工大学
