基于公平的Hadoop貪心調(diào)度算法研究.pdf

1、云計(jì)算的概念被提出來(lái)的短短幾年間，在學(xué)術(shù)界和工業(yè)界的共同推動(dòng)下取得了巨大的進(jìn)展。在這個(gè)過(guò)程中出現(xiàn)了很多的云計(jì)算系統(tǒng)，其中Hadoop平臺(tái)作為一個(gè)開(kāi)源的系統(tǒng)被許多公司采納。Hadoop能夠?qū)崿F(xiàn)對(duì)海量數(shù)據(jù)的存儲(chǔ)，并且提供了完善的容錯(cuò)處理；同時(shí)它采用MapReduce并行計(jì)算框架，在底層自動(dòng)實(shí)現(xiàn)了并行化，能夠使開(kāi)發(fā)者像開(kāi)發(fā)普通程序一樣開(kāi)發(fā)并行程序。
　　 作業(yè)調(diào)度技術(shù)作為Hadoop平臺(tái)的核心技術(shù)之一，其主要功能是對(duì)作業(yè)執(zhí)行的順序和計(jì)

2、算資源的分配進(jìn)行控制，這直接關(guān)系到Hadoop平臺(tái)的整體性能和計(jì)算資源的利用情況。但是現(xiàn)有的調(diào)度算法均存在不足之處，因此對(duì)它們進(jìn)行改進(jìn)對(duì)于提高Hadoop平臺(tái)的整體性能和計(jì)算資源的利用效率具有重要的意義。
　　 本文首先介紹了云計(jì)算的概念以及Hadoop平臺(tái)的架構(gòu)，然后對(duì)Hadoop平臺(tái)現(xiàn)有的三大調(diào)度算法：FIFO調(diào)度算法、公平調(diào)度算法(Fair Scheduler)和計(jì)算能力調(diào)度算法(Capacity Scheduler)進(jìn)行