大数据负载的体系结构特征分析

作者：罗建平; 谢梦瑶; 王华锋

来源：计算机科学, 2015, (11): 48-52.

• 大数据
• 大数据负载
• 体系结构特征 Big data
• Big data workloads
• Architecture characteristic

针对大数据离线分析类和交互式查询类负载,首先对这些负载的一些共性进行分析,提取出公共操作集,并对它们进行分组整理;然后在大数据平台上测试这些负载运行过程中的微体系结构特征,采用PCA和SimpleKMeans算法对这些体系结构特征参数进行降维和聚类处理。实验分析结果表明负载之间有公共的操作集,如Join和Cross Production;有些负载有相似的属性,如Difference和Projection共享相同的微体系结构特征。实验结果对于处理器等硬件平台的设计以及应用程序的优化具有指导性的意义,并且为大数据基准测试平台的设计提供了参考。

• 出版日期2015
• 单位北京航空航天大学; 中国科学院计算技术研究所; 郑州大学