Hadoop平臺下調度算法和下載機制的優(yōu)化.pdf

1、在飛速發(fā)展的互聯(lián)網(wǎng)技術中，數(shù)據(jù)量的增長呈爆炸性的趨勢。數(shù)據(jù)作為信息的載體，在信息化的發(fā)展過程中占有舉足輕重的地位。海量數(shù)據(jù)的管理困難、高數(shù)據(jù)存儲成本、低可靠性和低安全性等是現(xiàn)在社會面臨的重大難題。更多的企業(yè)開始涉足于云計算領域，使用云計算進行數(shù)據(jù)的分布式計算和管理。云計算服務的優(yōu)勢在于其可靠性高、易于擴展、存儲容量大及處理速度快等特點，所以關于云計算服務系統(tǒng)的研究已經(jīng)成為了IT技術進一步發(fā)展的趨勢。論文以提高云計算實現(xiàn)平臺Hadoop中

2、的數(shù)據(jù)處理速度為目標，深入地研究了MapReduce和HDFS內部運行機制。
　　 針對Hadoop運行環(huán)境的異構性，為了使Hadoop能夠根據(jù)每個計算節(jié)點的運算能力進行合理的任務分配，提出了一種改良的自適應負載調節(jié)調度算法(SALS)。該算法將Hadoop調度算法和當前系統(tǒng)負載水平相結合，實現(xiàn)了自適應的調度算法，并改進了Hadoop原始的推測執(zhí)行算法，新的算法使得影響系統(tǒng)響應時間的掉隊者能得到更精確的判定，掉隊者任務的命中率得

3、到了很大程度上提高，從而更加有效的提高整個系統(tǒng)的響應能力。
　　 針對Hadoop中HDFS的內部數(shù)據(jù)下載效率較低和可能出現(xiàn)的負載不均衡的問題，提出一種分布式文件并行下載算法。該算法從文件整體下載效率和數(shù)據(jù)塊的下載效率兩方面出發(fā)，提出了相應的優(yōu)化方法，并在此基礎上引入P2P的多線程思想能夠有效地提高系統(tǒng)的下載效率。在傳統(tǒng)并行算法的基礎之上，引入了一種新的速度預測函數(shù)。該函數(shù)利用平均歷史下載速度和當前速度以實現(xiàn)對未來下載速度更精確