基于双注意力CrossViT的微表情识别方法

作者:冉瑞生; 石凯; 江小鹏; 王宁
来源:南京信息工程大学学报(自然科学版), 2023, 15(05): 541-550.
DOI:10.13878/j.cnki.jnuist.20221118001

摘要

微表情是人们试图隐藏自己真实情绪时不由自主泄露出来的面部表情,是近年来情感计算领域的热点研究领域.微表情是一种细微的面部运动,难以捕捉其细微变化的特征.本文基于交叉注意力多尺度ViT(CrossViT)在图像分类领域的优异性能以及能够捕捉细微特征信息的能力,将CrossViT作为主干网络,对网络中的交叉注意力机制进行改进,提出了DA模块(Dual Attention)以扩展传统交叉注意力机制,确定注意力结果之间的相关性,从而提升了微表情识别精度.本网络从三个光流特征(即光学应变、水平和垂直光流场)中学习,这些特征是由每个微表情序列的起始帧和峰值帧计算得出,最后通过Softmax进行微表情分类.在微表情融合数据集上,UF1和UAR分别达到了0.727 5和0.727 2,识别精度优于微表情领域的主流算法,验证了本文提出网络的有效性.

全文