基于互补语义对齐和对称检索的图像-文本互检索方法

作者：田春娜; 姜萌萌; 高新波; 刘恒; 张相南; 王秀美

来源：2018-07-18, 中国, CN201810787435.3.

本发明属于计算机视觉与自然语言处理技术领域,公开了一种基于互补语义对齐和对称检索的图像-文本互检索方法,采用卷积神经网络提取图像的深度视觉特征；利用基于目标的卷积神经网络和基于场景分布的卷积神经网络融合的模型提取深度视觉特征,确保视觉特征包含目标和场景多重互补语义信息；利用长短期记忆网络对文本进行编码,提取出对应的语义特征表示；利用两个映射矩阵分别将视觉特征和文本特征映射到同一个跨模态的嵌入空间中；利用k最近邻的方法,在该跨模态嵌入空间检索,得到检索的初始列表；利用基于互近邻的方法对称双向检索的邻近关系,对初始检索列表进行重排序,得到最终的检索等级列表。本发明具有准确度高的优点。

• 出版日期2018-7-18
• 单位西安电子科技大学