基于归一化互信息的多模态融合方法、装置、介质及设备

作者：陈变娜; 张通; 晋建秀; 陈俊龙

来源：2020-03-09, 中国, ZL202010156708.1.

本发明提供了一种基于归一化互信息的多模态融合方法、装置、介质及设备；其中方法包括如下步骤：获取采集人体的多种模态数据集,各种模态数据集中的数据分别带有标签；对各种模态数据集进行预处理；将预处理后的各种模态数据集分别进行特征提取；通过宽度学习系统得到各个模态数据集的宽度学习特征映射；确定归一化互信息的多模态融合方式；将宽度学习系统进行训练和测试；根据训练和测试好的多模态融合方式和判别架构模型来进行模态特征融合和最终的判决输出。本发明训练速度快,资源消耗少,能快速构建增量学习模型；可实现模态间的信息互补减少冗余模态信息；具有良好的可靠性、准确性和鲁棒性。

• 出版日期2020-3-9
• 单位华南理工大学