異構(gòu)環(huán)境下MapReduce任務(wù)推測(cè)執(zhí)行算法研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)已經(jīng)在各行各業(yè)滲透，而且互聯(lián)網(wǎng)的用戶數(shù)目也在不斷地增加，這使得互聯(lián)網(wǎng)數(shù)據(jù)形成了爆發(fā)式地增長(zhǎng)，對(duì)分布式計(jì)算而言也是新的機(jī)遇。MapReduce是由Google提出針對(duì)海量數(shù)據(jù)進(jìn)行處理的分布式并行計(jì)算編程模型，它具有并行自動(dòng)處理作業(yè)，編程簡(jiǎn)單及可靠性高等特點(diǎn)。Hadoop是基于MapReduce的分布式并行開源計(jì)算平臺(tái)，由于其定制和使用簡(jiǎn)單的特點(diǎn)而被許多科研單位和企業(yè)用于海量數(shù)據(jù)的研究和處理。在Hadoop

2、中分別應(yīng)用MapReduce和HDFS(Hadoop Distributed File System)來處理和存儲(chǔ)海量數(shù)據(jù)。推測(cè)執(zhí)行是計(jì)算和存儲(chǔ)高效性和健壯性的保障。它通過執(zhí)行找出異常的慢任務(wù)并將其放于另一個(gè)節(jié)點(diǎn)備份執(zhí)行，以達(dá)到節(jié)省集群資源和降低任務(wù)執(zhí)行時(shí)間的目的。推測(cè)執(zhí)行策略現(xiàn)在主要的有基于啟發(fā)式的LATE和基于自適應(yīng)MapReduce的SAMR。
　　通過對(duì)LATE策略中存在的問題進(jìn)行總結(jié)和分析，LATE推測(cè)執(zhí)行算法只是通過比

3、較某任務(wù)的進(jìn)度速率和所有任務(wù)的平均進(jìn)度速率的大小來決定是否進(jìn)行推測(cè)執(zhí)行，卻沒有考慮資源的消耗和負(fù)載的變化，于是(Speculative Execution forBenefit of Cluster，SEBC)推測(cè)執(zhí)行算法從集群收益上進(jìn)行了考慮，對(duì)資源進(jìn)行建模，在考慮節(jié)點(diǎn)處理任務(wù)類型的基礎(chǔ)上進(jìn)行推測(cè)執(zhí)行。實(shí)驗(yàn)表明SEBC能夠更加有效地降低作業(yè)執(zhí)行時(shí)間及提高集群性能。
　　對(duì)SAMR策略執(zhí)行流程和存在的問題進(jìn)行深入分析，提出了一種基

4、于隨機(jī)森林的推測(cè)執(zhí)行算法(Speculative Execution based on Random Forest，SERF)，該算法在以YARN為主的新一代Hadoop平臺(tái)基礎(chǔ)上進(jìn)行建模，運(yùn)用隨機(jī)森林機(jī)器學(xué)習(xí)算法對(duì)整體集群進(jìn)行預(yù)測(cè)，并且把Map任務(wù)分成了nodeLocal，rackLocal，of Switch三種類型，簡(jiǎn)單有效地對(duì)3類任務(wù)執(zhí)行信息進(jìn)行了統(tǒng)計(jì)和分析，從而對(duì)計(jì)算節(jié)點(diǎn)處理任務(wù)的性能有了更加精準(zhǔn)的定位，通過實(shí)驗(yàn)表明不僅保證了