基于混合注意力的实时图像语义分割算法

作者：王燕; 夏创帅^*; 汪娜; 南佩奇

来源：计算机科学, 2023, 50(S2): 340-345.

• 深度学习
• 语义分割
• 实时
• 特征融合
• 注意力机制

针对现有语义分割算法因模型复杂、计算量庞大，导致算法较难部署在移动设备的问题，提出了一种基于混合注意力的实时图像语义分割算法。该算法是非对称的编码器解码器结构，编码器部分结合深度可分离卷积与扩张卷积设计出一个高效残差单元来提取不同网络深度的图像特征，在浅层较多关注空间位置信息，在深层增强语义信息提取。解码器部分设计了混合注意力特征融合模块，使用空间注意力强化浅层的空间位置信息，使用通道注意力增强深层特征图中关键信息的表达能力，能够有效融合不同层次特征图中空间信息与上下文信息，强化语义信息的表达，减小融合过程中图像信息的损失，最后使用分类器得到分割预测图。大量实验的结果表明，该算法在Cityscapes数据集上PA和mIoU分别达到了93.2%和73.2%，在TeslaV100图像计算显卡上以1.62×106的参数量达到38FPS，在Pascal VOC 2012数据集上PA和mIoU达到了92.4%和74.8%。实验结果表明，该算法能够有效且实时地完成城市场景图片分割任务。

• 出版日期2023
• 单位兰州理工大学