Hadoop是用于存储和处理大规模数据的基础架构和软件。MapReduce是Hadoop的一个JAVA程序设计框架模型，遵循MapReduce框架开发的应用程序可以在集群中的节点上并行执行。作业调度器是Hadoop系统中的重要组件。文章中，作者阐述了Hadoop中常见的三种调度器，并重点讨论了公平调度算法。通过分析公平调度算法在调度小型作业时容易影响整个集群吞吐量的原因，提出了一种改进的公平调度算法，并通过实验证明改进后的公平调度算法对整个集群的平均吞吐率有明显的提高。
科研之友
微信
新浪微博
Facebook
分享链接
