科研之友
微信
新浪微博
Facebook
分享链接
摘要
旨在从文本信息中提取主要语句以达到压缩信息的目的。现有生成式自动摘要方法无法充分利用预训练模型对原文语义进行学习，导致生成内容易丢失重要信息，特别当面对样本数量较少的数据集时往往容易发生过拟合。为了解决此类问题并获得更好的微调性能，文中使用预训练模型mT5(multilingual T5)作为基线通过结合R-drop(Regularized dropout)对模型微调进行强化正则提高模型学习能力，同时利用Sparse softmax减少预测生成的模糊性确保输出准确度。模型在中文数据集LCSTS和CSL上通过计算BLEU(Bilingual Evaluation Understudy)进行优化方法超参数测试，并采用Rouge作为评测指标分别对数据集进行了不同数量级的评测。实验结果表明，经过优化的预训练模型能够更好的学习到原文语义表征，在小样本情况下模型能够保持较好的拟合效果，并且能够生成实用性较高的结果。
- 出版日期2023
- 单位上海工程技术大学
