科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对多变量时序（Multivariate Time Series，MTS）分类中长序列数据难以捕捉时序特征的问题，提出一种基于双向稀疏Transformer的时序分类模型BST (Bidirectional Sparse Transformer)，提高了MTS分类任务的准确度。BST模型使用Transformer框架，构建了一种基于活跃度得分的双向稀疏注意力机制。基于KL散度构建活跃度评价函数，并将评价函数的非对称问题转变为对称权重问题。据此，对原有查询矩阵、键值矩阵进行双向稀疏化，从而降低原Transformer模型中自注意力机制运算的时间复杂度。实验结果显示，BST模型在9个长序列数据集上取得最高平均排名，在临界差异图中领先第二名35.7%，对于具有强时序性的乙醇浓度数据集(EthanolConcentration， EC)，分类准确率提高30.9%。
- 出版日期2023
- 单位哈尔滨工程大学
