Hadoop系統(tǒng)中調(diào)度算法的研究和改進(jìn).pdf

1、MapReduce是Google提出的一個(gè)軟件架構(gòu),用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。MapReduce用在非常廣泛的應(yīng)用程序中,包括“分布grep,分布排序,Web連接圖反轉(zhuǎn),每臺機(jī)器的詞矢量,Web訪問日志分析,反向索引構(gòu)建,文檔聚類,機(jī)器學(xué)習(xí),基于統(tǒng)計(jì)的機(jī)器翻譯……”。Hadoop是Apache軟件基金會(huì)所研發(fā)的開放源碼并行運(yùn)算編程工具。它是MapReduce的開源實(shí)現(xiàn)。Hadoop默認(rèn)調(diào)度器以集群同構(gòu)為前提,在異構(gòu)環(huán)境下

2、,極其容易產(chǎn)生集群資源調(diào)度不公,從而引起集群吞吐量下降,響應(yīng)時(shí)間加長。
　　 本文首先對MapReduce進(jìn)行了簡要的介紹,分析了其調(diào)度器的工作原理,并介紹了改進(jìn)后的調(diào)度器LATE。本文的主要工作是:針對原調(diào)度器在異構(gòu)集群中低效的表現(xiàn),并結(jié)合LATE調(diào)度器的思想,提出了一種改進(jìn)的LATE調(diào)度器。在使用改進(jìn)的LATE調(diào)度器中:使用剩余完成時(shí)間作為啟動(dòng)備份依據(jù)的同時(shí),使用上一次成功完成的任務(wù)中的各階段占總?cè)蝿?wù)的百分比來估計(jì)此次任務(wù)的