一种基于MapReduce的并行FP-growth算法

作者：杨勇; 王伟

来源：重庆邮电大学学报(自然科学版), 2013, (05): 651-657+670.

DOI：10.3979/j.issn.1673-825X.2013.05.016

• Hadoop
• Mapreduce
• FP-growth
• 数据挖掘
• 云计算
• 关联规则 Hadoop
• Mapreduce
• FP-growth
• data mining
• cloud computing
• association rules

FP-growth算法是不产生候选集的关联规则挖掘算法,在许多领域中具有很高的实际应用价值。然而经典的FP-growth算法是内存驻留算法,只能处理小数据集,在面对海量数据集时显得无能为力。对经典FP-growth算法中FP-tree的结构和挖掘过程进行了改进,分析了FP-tree单路径和多路径的不同挖掘方法,提出了一个剪枝策略,在挖掘过程中减少了部分分支的迭代次数。然后利用云计算的MapReduce编程技术,对改进的FP-growth算法的各个步骤并行化。实验结果表明改进的算法在处理不同的数据集时有一定的优势,然后经过MapReduce模型并行化后,提高了对海量数据的处理能力和效率,并且具有...

• 出版日期2013
• 单位重庆邮电大学