Hadoop平臺(tái)中基于預(yù)釋放資源列表的任務(wù)調(diào)度算法研究.pdf

1、互聯(lián)網(wǎng)技術(shù)催生了大數(shù)據(jù)時(shí)代的來臨。當(dāng)前，大數(shù)據(jù)已經(jīng)成為了炙手可熱的研究焦點(diǎn)。由于海量的數(shù)據(jù)使得單個(gè)的計(jì)算機(jī)已經(jīng)無法滿足存儲(chǔ)及計(jì)算的要求，各種大數(shù)據(jù)的計(jì)算模式及其對(duì)應(yīng)的分布式計(jì)算系統(tǒng)開始不斷涌現(xiàn)。MapReduce無疑是其中最為經(jīng)典并且應(yīng)用最為廣泛的大數(shù)據(jù)計(jì)算模式。任務(wù)調(diào)度與資源分配一直以來都是大規(guī)模分布式集群研究的關(guān)鍵技術(shù)，這對(duì)提高大數(shù)據(jù)集群的計(jì)算效率尤其重要。
　　Hadoop是通過各個(gè)從節(jié)點(diǎn)在不同的時(shí)間向主節(jié)點(diǎn)以“pull”的

2、方式發(fā)送心跳請(qǐng)求獲取任務(wù)的?，F(xiàn)有的任務(wù)調(diào)度器只根據(jù)當(dāng)前請(qǐng)求任務(wù)的從節(jié)點(diǎn)狀況，來選擇任務(wù)進(jìn)行分配。而沒有將更多的資源與集群中各個(gè)作業(yè)的具體需求聯(lián)系起來，做出更優(yōu)的調(diào)度方案。因此本文在對(duì)MapReduce的任務(wù)推測(cè)執(zhí)行算法和任務(wù)調(diào)度算法進(jìn)行分析和研究的基礎(chǔ)上，設(shè)計(jì)了相關(guān)的改進(jìn)算法。具體工作如下:
　　(1)提出了預(yù)釋放資源列表。通過Hadoop記錄的歷史信息和集群當(dāng)前狀況的監(jiān)控信息，對(duì)節(jié)點(diǎn)的任務(wù)處理速率以及任務(wù)的剩余完成時(shí)間進(jìn)行評(píng)估，

3、可以預(yù)測(cè)出哪些資源即將釋放，以此構(gòu)建出預(yù)釋放資源列表。從而使得Hadoop在進(jìn)行任務(wù)調(diào)度的時(shí)候有著更大的優(yōu)化空間。
　　(2)設(shè)計(jì)了一種基于預(yù)釋放資源列表的任務(wù)推測(cè)執(zhí)行算法。從構(gòu)建出來的預(yù)釋放資源列表中，選擇使慢任務(wù)更快完成的資源，從而達(dá)到使慢任務(wù)更快完成的目的。實(shí)驗(yàn)表明，基于預(yù)釋放資源列表的推測(cè)執(zhí)行算法能夠有效的使有慢任務(wù)的作業(yè)更快完成。
　　(3)設(shè)計(jì)了一種基于預(yù)釋放資源列表的任務(wù)調(diào)度算法。根據(jù)作業(yè)在各個(gè)節(jié)點(diǎn)的本地性以及