搜索引擎中基于密度聚类的混合编码检测算法

作者：章晟; 张启飞; 潘雪增; 朱旭辉

来源：数据采集与处理, 2011, (01): 95-100.

DOI：10.16337/j.1004-9037.2011.01.019

• 搜索引擎
• 密度聚类
• 字符编码 search engine
• density-based clustering
• character encoding

搜索引擎有很多的关键技术,本文主要针对互联网中文HTML混合编码文件,研究了中文HTML文件的字符编码组成结构,然后对混合编码文件内容进行聚类,采用了数据挖掘领域的经典算法DBSCAN,将HTML文件分成几个大类,然后分别对各个类进行了基于特征编码检测。实验结果显示,当选取合适的参数时,对混合编码文件的聚类后,每个类与中文字符特征编码相符率达100%,可以广泛应用于搜索领域。

• 出版日期2011
• 单位浙江大学