MapReduce仿真及Hadoop公平調度算法研究.pdf

1、繼分布式計算和網(wǎng)格計算之后發(fā)展起來的云計算,是當今IT領域研究的熱點,包括對于分布式集群、虛擬化技術以及用戶服務級別方面的研究。Hadoop是一個重量級的分布式處理開源框架,在對大數(shù)據(jù)存儲和處理方面的優(yōu)勢使得它成為很多企業(yè)和學者們研究云計算的平臺。
　　本文圍繞Hadoop實現(xiàn)框架、在虛擬機上搭建Hadoop集群與Hadoop不同調度的實現(xiàn)幾個方面展開研究,重點集中在對Hadoop公平調度算法的研究和實現(xiàn)。由于云計算具有面向不同用

2、戶的特性,因此如何在不同用戶之間公平共享資源關系到用戶對云服務的滿意程度,同時由于集群是建立在大量商務機或者虛擬機上,很容易出現(xiàn)故障,因此如何在節(jié)點出現(xiàn)故障的時候能夠迅速遷移服務同樣至關重要。
　　本文貢獻在于對MapReduce編程模型進行仿真實現(xiàn),并搭建基于虛擬化平臺的Hadoop集群,通過在不同的四個實驗下運行MapReduce作業(yè),研究不同調度算法的性能以及節(jié)點故障對作業(yè)性能的影響。本文在九個節(jié)點上搭建Hadoop集群,并