一种基于注意力机制的端到端手语识别方法

作者:王青山; 任丹丹; 张江涛; 王琦; 赵雅晨; 郑志文; 周密; 王天然
来源:2021-11-11, 中国, ZL202111330301.7.

摘要

本发明公开了一种基于注意力机制的端到端手语识别方法,其中主要利用可穿戴传感器臂环来收集听障人士在与健全人交流时产生的手语信号,然后对采集到的手语信号进行低通滤波去除臂环本身带来的高频噪声,对滤波后的手语信号利用sEMG信号维度差值来扩充特征维度并减少臂环佩戴位置偏差带来的影响、利用IMU信号欧拉角转换来表达手臂运动特征,最后,本发明设计基于注意力的端到端模型来对手语传感器信号进行整句识别,从而解决听障人士与健全人交流的障碍。