改进YOLOv5s的手语识别算法研究

作者：邢晋超; 潘广贞

来源：计算机工程与应用, 2022, 58(16): 194-203.

• 手语识别
• YOLOv5
• K-means++
• 注意力机制
• 损失函数

为解决健全人士与听障人士交互信息困难的问题，提出一种改进YOLOv5s网络模型的手语识别网络。应用K-means++算法提高先验锚框的尺寸匹配度，确定了最优先验锚框尺寸，实现先验锚框与实际物体的精确匹配；改进CBAM(convolution block attention module)注意力机制的通道域，解决其因降维而造成的通道信息缺失问题，并将改进后的CBAM加入到YOLOv5s的骨干网络中，使模型更加精准地定位和识别到关键的目标。将Cross Entropy Loss和Lovasz-Softmax Loss加权结合使用，使得网络在模型训练过程中更加稳定地收敛，在精准率上也得到了一定的提升。实验结果表明，与原本的YOLOv5s模型相比，改进后网络模型的平均精度均值（mean average precision,mAP）、精准率和召回率分别提升了3.44个百分点、3.17个百分点、1.89个百分点，有效地提高了手语识别网络的检测精确度。

• 出版日期2022
• 单位中北大学