摘要

为了提高大数据统计及分析的效率,有必要对数据集合进行聚类,以减少数据集合维度,并去掉相似数据冗余。采用熵加权和稀疏分数特征选择相结合,一方面对异构数据进行局部结构划分,降低数据维度,对局部结构的特征重要性标记并排序,提高聚类精度,另一方面,提高聚类稳定性。实验证明,该方法对不同种类的大数据聚类具有较强的适用性。