基于BERT+BiLSTM+Attention的对抗训练新闻文本分类模型

作者：汪辉; 于瓅^*

来源：西安文理学院学报(自然科学版), 2023, 26(03): 49-53.

• BiLSTM
• 新闻文本分类
• 对抗训练
• BERT

新闻文本分类是长文本分类的典型问题，因此提取词与词之间的关系特征就尤为重要.提出了基于双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers, BERT)和双向长短时记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)以及注意力机制的对抗训练分类模型(BBA-AT).将预处理新闻文本数据经过BERT进行训练得到词嵌入编码，在训练后的词向量级别上进行扰动达到数据增广的效果，以此来进行对抗训练，之后通过双向长短时记忆网络对数据集进行编码提取双向语义表征.本文提出的BBA-AT模型F1值在TNEWS数据集上比BERT模型提升了1.34%.

• 出版日期2023
• 单位安徽理工大学