科研之友
微信
新浪微博
Facebook
分享链接
摘要
手语是聋哑人进行信息交流的重要手段，而手语字母是手语的基本组成单元，手语字母识别也是人机交互的重要组成部分。手语识别作为一种新的人机交互方式，被广泛应用到虚拟现实系统。而现有的检测设备价格昂贵，检测方法精度低，检测速度慢，不能满足实时检测的要求，且在不同的设备间移植困难。Yolov5网络具有检测精度高，检测速度快，便于移植等优点，现以Yolov5网络为基础进行改进，融入SE通道注意力机制和ASFF自适应特征融合机制，并对数据集进行处理，增加在强光下带有投影以及复杂背景和进行灰度处理过的图片，使Yolov5对于图像高层的语义信息以及对底层的轮廓、边缘、颜色、形状信息利用的更加充分。与改进前的Yolov5模型相比，改进后的Yolov5-ASFF-SE模型在检测速度基本保持不变的前提下，检测精度提高了5.8%，平均检测精度MAP提高了6%，结果表明，改进的Yolov5-ASFF-SE模型能够实时，准确的对手语字母进行识别，且方便的移植到手机等便携设备中，方便聋哑人之间的交流，对未来人机交互的发展也具有一定的参考价值。
- 出版日期2022-2-15
- 单位南京工业大学
