科研之友
微信
新浪微博
Facebook
分享链接
摘要
在文本的多分类任务中，基于预训练模型的词向量不能很好地学习到文本多样化信息，降低了文本分类任务的准确率。针对该问题，提出了一种基于残差注意力BERT词向量的BiLSTM-Attention文本分类模型。首先，将输入的文本转化为向量特征，利用残差注意力BERT模型提取更加丰富的语义特征词向量信息。接着，利用BiLSTM模型提取特征的上下文联系信息，将BERT模型“[CLS]”对应的输出与BiLSTM模型的输出进行拼接，对特征信息进行深度融合，从而实现特征有效利用。在THUNews数据集上进行性能评估，实验结果表明：所提模型在准确率和F1值指标上均优于现有深度学习模型的结果，具有更优的分类效果。
