Map-Reduce在媒资系统数据收集中的应用

作者：彭四伟; 许伟静

来源：计算机工程与应用, 2014, (20): 119-123.

• 媒资管理系统
• Map-Reduce
• 数据收集
• hadoop单线程模式
• hadoop伪分布模式
• hadoop全分布模式 media resource management system
• Map-Reduce
• data collecting
• standalone mode of hadoop
• pseudo-distributed mode of hadoop
• fully-distributed mode of hadoop

在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明:使用Map-Reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。

• 出版日期2014
• 单位北京化工大学