基于負(fù)載均衡的Hadoop動態(tài)延遲調(diào)度機(jī)制.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和眾多數(shù)據(jù)密集型應(yīng)用的普及，互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模呈爆炸式增長。為了應(yīng)對大規(guī)模海量數(shù)據(jù)的存儲和處理問題，云計算技術(shù)應(yīng)運而生且發(fā)展迅速，Hadoop作為主流的云計算平臺而備受關(guān)注，調(diào)度問題作為影響Hadoop集群性能的關(guān)鍵因素成為研究的熱點。
　　在云計算系統(tǒng)平臺中，由于集群中的各個節(jié)點通過網(wǎng)絡(luò)相連，節(jié)點之間有限的帶寬資源往往成為整個系統(tǒng)的性能瓶頸。因此，如何在公平分配任務(wù)的同時減少節(jié)點之間的數(shù)據(jù)傳輸成為一個非常關(guān)鍵

2、的問題。根據(jù)“移動計算比移動數(shù)據(jù)劃算”的原則，可以在保證各個作業(yè)公平共享集群計算資源的前提下，提高數(shù)據(jù)本地性（data-locality，將任務(wù)調(diào)度到其輸入數(shù)據(jù)所在的計算節(jié)點以減少網(wǎng)絡(luò)傳輸開銷），從而提高了系統(tǒng)性能和作業(yè)吞吐量。延遲調(diào)度是常用的提高數(shù)據(jù)本地性和Hadoop集群性能的方法，但現(xiàn)有的延遲調(diào)度算法基于固定的等待時間，而且沒有充分考慮集群的負(fù)載均衡。
　　因此，本文提出基于負(fù)載均衡的動態(tài)延遲調(diào)度機(jī)制DDS(DynamicD