異構環(huán)境下的作業(yè)調度算法在Hadoop實現(xiàn)中的優(yōu)化.pdf

1、云計算的提出是對互聯(lián)網(wǎng)的一個沖擊，它實現(xiàn)了計算能力的商品化，其透明性和簡單的編程模式為開發(fā)者帶來了更便捷的服務開發(fā)和部署方式。2009年被稱為云計算元年，AmaZon、Google、IBM等諸IT巨頭都把目光聚焦在云計算，將其視為未來發(fā)展的主要戰(zhàn)略方向。因此，對云計算進行研究既迎合了IT技術的發(fā)展趨勢，又具有較強的實際意義和商用價值。
　　MapReduce是一種重要的并行計算模型，可以高效的運行在包含上千個節(jié)點的數(shù)據(jù)中心。它不僅

2、僅是編程模型，還是優(yōu)秀的任務調度模型，其作業(yè)調度問題已成為業(yè)內最熱烈的討論話題之一，并成為云計算系統(tǒng)高效穩(wěn)定運行的關鍵技術。在實際應用中，作業(yè)調度常常會面臨節(jié)點性能異構，混合負載等情形，處理這些問題涉及到資源感知，機器學習，人工智能，和匹配算法等多方面的技術，實現(xiàn)起來相當復雜。目前國內外許多專家和學者就致力于異構環(huán)境下的調度技術的研究，同時也出現(xiàn)了各種不同的作業(yè)調度器。
　　本文對MapReduce編程模型做了深入的研究，并對Ha

3、doop平臺上常用的三種調度算法進行了全面的分析。在以上研究基礎上提出了一種新的作業(yè)調度器，即基于資源感知的自適應任務調度器。針對Hadoop計算平臺中集群異構性的問題，它通過資源感知監(jiān)控系統(tǒng)中執(zhí)行作業(yè)的歷史信息和集群資源的狀況，根據(jù)每個計算節(jié)點的處理能力合理的分配任務.并且可以自適應的負載分類，實現(xiàn)CPU和I/O資源的有效利用。另外利用基于deadline約束的優(yōu)先級調度為不同類型的作業(yè)提供相應高水平服務，并對Hadoop原始的推測執(zhí)