基于多模态数据双重融合的目标检测方法、装置、设备和介质

作者：张浪文; 张晋凯; 解宇敏; 刘洁耿; 施唯; 彭雄峰; 胡俊嘉; 罗其昆; 时佰仟

来源：2021-12-07, 中国, ZL202111483806.7.

本发明公开了一种基于多模态数据双重融合的目标检测方法、装置、电子设备和存储介质,所述方法包括：根据可见光-红外目标检测数据集中任意一对可见光图像和红外图像,生成融合图像；由可见光图像和红外图像与融合图像构成数据样本；利用数据样本训练检测器,得到训练好的不同模态的检测器；根据待测的一对可见光图像和红外图像,生成待测融合图像；将待测的可见光图像和红外图像与待测融合图像分别输入训练好的对应模态的检测器,得到检测结果；将检测结果融合,得到最终检测结果。本发明综合利用像素级融合和决策级融合两种不同层级融合的优点,使可见光模态和红外模态的信息尽可能被充分利用,从而具有更优秀的全天候检测性能。

• 单位
  华南理工大学