面向新概念学习的图像描述生成模型

作者：谢雨杰; 杜友田^*; 张潇

来源：西安交通大学学报, 2020, 54(12): 37-44.

• 图像描述生成
• 注意力机制
• 卷积神经网络
• 新概念

为了更好地在图像描述生成任务中对新概念进行学习和预测,在编码-解码框架下提出了一种新的面向新概念学习的图像描述生成模型(Att-DCC)。该模型引入了带有空间注意力机制的卷积神经网络,将全局视觉特征、语义标签和经空间注意力作用后的视觉信息进行了较好的融合;此外,引入自适应注意力机制多模态层,将语义相近的概念学习结果迁移至新概念,降低训练过程的复杂程度并提升学习性能。采用Att-DCC模型在MSCOCO2014数据集上针对2批(分别为8和6个)共14个新概念进行了测试和分析,结果表明:充分的多模态融合方式和多种注意力机制对于提升学习效果有显著效果;Att-DCC模型在F1值上取得了42.56%和42.14%的平均结果,总体上取得了比具有代表性的NOC模型和DCC模型更准确的预测结果。

• 出版日期2020
• 单位西安交通大学