一种考虑模态不确定性的多模态目标检测方法

作者:石琴; 陈雅芳; 程腾; 侯登超; 张强; 王文冲
来源:2023-07-05, 中国, ZL202310815693.9.

摘要

本发明涉及新一代信息技术领域,具体是一种考虑模态不确定性的多模态目标检测方法,包括以下步骤:将数据库中同一检测对象的各种模态数据输入训练完成的神经网络中,并输出各种模态对应的结果集;将各种模态下的图像边界框角点坐标转化到同一坐标系中,并在该坐标系下将各种模态的结果集彼此匹配关联;将各种模态的置信估计分数作为置信权重赋予该模态下的图像类别预测置信度分数,以构成各种模态下的期望;对各个期望求均值,将求得的各个均值进行融合,选取融合后图像类别预测置信度分数最大值对应的图像类别,该图像类别即为检测对象的检测结果;本发明能够提高多模态目标检测的准确性,更为准确地确定目标的存在和位置。