使用最大熵模型进行中文文本分类

作者：李荣陆; 王建会; 陈晓云; 陶晓鹏; 胡运发

来源：Z200501013, 2005, (01): 94-101.

• 文本分类
• 最大熵模型
• 特征
• N-Gram text classification
• maximum entropy model
• features
• N-Gram

随着WWW的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术.由于最大熵模型可以综合观察到各种相关或不相关的概率知识,对许多问题的处理都可以达到较好的结果.但是,将最大熵模型应用在文本分类中的研究却非常少,而使用最大熵模型进行中文文本分类的研究尚未见到.使用最大熵模型进行了中文文本分类.通过实验比较和分析了不同的中文文本特征生成方法、不同的特征数目,以及在使用平滑技术的情况下,基于最大熵模型的分类器的分类性能.并且将其和Bayes,KNN,SVM三种典型的文本分类器进行了比较,结果显示它的分类性能胜于Bayes方法,与KNN和SVM方法相当,表明这是一种非常有前途的文本分类方法.

• 出版日期2005
• 单位复旦大学