改进U-Net3+与跨模态注意力块的医学图像融合

作者：王丽芳; 米嘉^*; 秦品乐; 蔺素珍; 高媛; 刘阳

来源：中国图象图形学报, 2022, 27(12): 3622-3636.

• U-Net3+
• 跨模态注意力块
• 双鉴别器生成对抗网络
• 梯度损失
• 多模态医学图像融合

目的 针对目前多模态医学图像融合方法深层特征提取能力不足，部分模态特征被忽略的问题，提出了基于U-Net3+与跨模态注意力块的双鉴别器生成对抗网络医学图像融合算法(U-Net3+and cross-modal attention block dual-discriminator generative adversal network, UC-DDGAN)。方法 结合U-Net3+可用很少的参数提取深层特征、跨模态注意力块可提取两模态特征的特点，构建UC-DDGAN网络框架。UC-DDGAN包含一个生成器和两个鉴别器，生成器包括特征提取和特征融合。特征提取部分将跨模态注意力块嵌入到U-Net3+下采样提取图像深层特征的路径上，提取跨模态特征与提取深层特征交替进行，得到各层复合特征图，将其进行通道叠加、降维后上采样，输出包含两模态全尺度深层特征的特征图。特征融合部分通过将特征图在通道上进行拼接得到融合图像。双鉴别器分别对不同分布的源图像进行针对性鉴别。损失函数引入梯度损失，将其与像素损失加权优化生成器。结果 将UC-DDGAN与5种经典的图像融合方法在美国哈佛医学院公开的脑部疾病图像数据集上进行实验对比，其融合图像在空间频率(spatial frequency, SF)、结构相似性(structural similarity, SSIM)、边缘信息传递因子(degree of edge information, QAB/F)、相关系数(correlation coefficient, CC)和差异相关性(the sum of the correlations of differences, SCD)等指标上均有提高，SF较DDcGAN(dual discriminator generation adversative network)提高了5.87%,SSIM较FusionGAN(fusion generative adversarial network)提高了8%,QAB/F较FusionGAN提高了12.66%,CC较DDcGAN提高了14.47%, SCD较DDcGAN提高了14.48%。结论 UC-DDGAN生成的融合图像具有丰富深层特征和两模态关键特征，其主观视觉效果和客观评价指标均优于对比方法，为临床诊断提供了帮助。

• 出版日期2022
• 单位中北大学