跨模态交互融合与全局感知的RGB-D显著性目标检测

作者：孙福明; 胡锡航; 武景宇; 孙静; 王法胜^*

来源：软件学报, 2023, 1-15.

DOI：10.13328/j.cnki.jos.006833

• 显著性目标检测
• 跨模态
• 全局注意力机制
• RGB-D检测模型

近年来, RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息,取得了比RGB显著性检测模型更好的性能,受到学术界高度关注.然而,现有的RGB-D检测模型仍面临着持续提升检测性能的需求.最近兴起的Transformer擅长建模全局信息,而卷积神经网络(CNN)擅长于提取局部细节.因此,如何有效结合CNN和Transformer两者的优势,挖掘全局和局部信息,将有助于提升显著性目标检测的精度.为此,提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法,通过将Transformer网络嵌入U-Net中,从而将全局注意力机制与局部卷积结合在一起,能够更好地对特征进行提取.首先借助U-Net编码-解码结构,高效地提取多层次互补特征并逐级解码生成显著特征图.然后,使用Transformer模块学习高级特征间的全局依赖关系增强特征表示,并针对输入采用渐进上采样融合策略以减少噪声信息的引入.其次,为了减轻低质量深度图带来的负面影响,设计一个跨模态交互融合模块实现跨模态特征融合.最后, 5个基准数据集上的实验结果表明,所提算法与其他最新的算法相比具有显著优势.

• 出版日期2023
• 单位大连民族大学