改进Mask R-CNN的真实环境下鱼体语义分割

作者：郭奕; 黄佳芯; 邓博奇; 刘洋成

来源：农业工程学报, 2022, 38(23): 162-169.

• 深度学习
• 语义分割
• 注意力机制
• 鱼体分割
• 二次迁移学习

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高真实复杂环境下鱼体语义分割精度，该研究提出了SA-Mask R-CNN模型，即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制，利用能量函数为每一个神经元分配三维权重，以加强对鱼体关键特征的提取；使用二次迁移学习方法对模型进行训练，即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习，然后在自建数据集上完成第二次迁移学习，利用具有相似特征空间的2个数据集进行迁移学习，在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试，结果表明，SA-MaskR-CNN网络结合二次迁移学习方法的交并比达93.82%，综合评价指标达96.04%，分割效果优于SegNet和U-Net++，较引入SENet和CBAM(Convolutional Block Attention Module, CBAM)注意力模块的Mask R-CNN交并比分别提升了2.46和1.0个百分点，综合评价指标分别提升了2.57和0.92个百分点，模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。

• 出版日期2022
• 单位西华大学