多文档文摘语义单元自动去噪器的监督学习方法

作者：龚书; 瞿有利; 田盛丰

来源：Z201304027, 2013, (04): 873-882.

• 自动去噪
• 监督学习
• 多文档文摘
• 文本表示
• 预处理 automatic noise filtering
• supervised learning
• multi-document summarization
• text representation
• preprocessing

多文档文摘的处理对象是存在噪音的文档集.现有文摘系统一般使用由人工设定阈值的固定阈值去噪器.但通过实验可见,不同文摘算法本身的抗噪能力各有高低,最优阈值随文档集、文摘算法、文本表示方法而改变,人工设定的固定阈值无法达到较好的通用性和去噪效果.为此,提出一种用于生成自动去噪器的监督学习方法,通过从人工文摘中自动获得标注信息,为语义单元提取多个特征,训练语义单元分类器而构成自动去噪器.可通用于不同文本表示所生成的语义单元,在不同多文档文摘系统的预处理阶段为任意文档集自动去除噪音语义单元.实验表明,该监督学习方法所生成的自动去噪器在不同文档集、文摘算法和文本表示方法下具有通用性,较好的去噪性能使各文...

• 出版日期2013
• 单位北京交通大学