科研之友
微信
新浪微博
Facebook
分享链接
摘要
多模态医学图像能够有效融合解剖图像和功能图像的信息，将人体内部的功能、解剖等多方面信息反映在同一幅图像上，在临床上有十分重要的意义。针对如何高效利用多模态医学图像信息的综合表达能力，以及如何充分提取跨尺度上下文信息的问题，该文提出跨模态跨尺度跨维度的PET/CT图像的Transformer分割模型。该模型主要改进是，首先，在编码器部分设计了PET/CT主干分支和PET, CT辅助分支提取多模态图像信息；然后，在跳跃连接部分设计了跨模态跨维度注意力模块从模态和维度角度出发捕获跨模态图像各维的有效信息；其次，在瓶颈层构造跨尺度Transformer模块，自适应融合深层的语义信息和浅层的空间信息使网络学习到更多的上下文信息，并从中获取跨尺度全局信息；最后，在解码器部分提出多尺度自适应解码特征融合模块，聚合并充分利用解码路径得到精细程度不同的多尺度特征图，缓解上采样引入的噪声。在临床多模态肺部医学图像数据集验证算法的有效性，结果表明所提模型对于肺部病灶分割的Acc, Recall, Dice, Voe, Rvd和Miou分别为97.99%,94.29%, 95.32%, 92.74%, 92.95%和90.14%，模型对于形状复杂的病灶分割具有较高的精度和相对较低的冗余度。
