科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着数据种类的增多和数据规模的增大,No SQL技术与MapReduce并行处理思想越来越受到重视。Mongo DB作为NoSQL数据库的典型代表,支持对海量数据进行索引和查询,但Mongo DB提供的MapReduce还不能满足复杂的数据分析和计算。而Hadoop虽然提供了强大的MapReduce并行计算框架,却在实时服务方面存在较高延时。针对这种情况,综合考虑扩展性,数据本地化,I/O性能等因素,提出并实现Hadoop与Mongo DB四种不同的整合方案。通过设计三种具有代表性的应用作为性能的测量基准,对不同的整合方案进行性能对比实验,得出不同应用场景下的最优整合方案。实验表明,在Mongo DB与Hadoop的折衷使用过程中,若对不同的应用采用合理的方案,性能最多可以提高3倍。
- 出版日期2016
- 单位湖南大学
