摘要

红外与可见光图像融合的目的是通过将不同模态的互补信息融合来增强源图像中的细节场景信息。然而,现有的深度学习方法存在融合性能与计算资源消耗不平衡的问题,并且会忽略红外图像存在噪声的问题。针对这两个问题,本文提出了一种基于结构重参数化的红外与可见光图像融合算法。首先,该算法通过带权重共享的双分支残差连接型网络分别对两种源图像进行特征提取,分别得到的特征级联后图像重建,然后用结构相似性损失与双边滤波去噪的内容损失联合指导网络的训练,最后在训练完成后进行结构重参数化将训练网络优化成直连型网络。在多个公共数据集上与7种领先的深度学习融合算法进行了定性与定量的实验对比,本文的融合算法在更低的资源耗费下实现多个评价指标的提升,融合结果具有更丰富的场景信息、更强的对比度以及更符合人眼的视觉效果。

全文