異構(gòu)MapReduce集群的網(wǎng)絡(luò)與調(diào)度優(yōu)化.pdf

1、因?yàn)镸apReduce對于處理大規(guī)模數(shù)據(jù)有著很好的可擴(kuò)展性,所以MapReduce成為了云計(jì)算中非常流行的一個編程模型。但是,MapReduce在異構(gòu)集群上的表現(xiàn)并不好。出現(xiàn)這種情況的原因是Hadoop的MapReduce的負(fù)載均衡機(jī)制——備份任務(wù)會造成過量的網(wǎng)絡(luò)流量,與Shuffle爭奪帶寬。
　　本課題基于OpenFlow協(xié)議提出了一個稱為OFScheduler+的動態(tài)異構(gòu)MapReduce集群優(yōu)化方案,可以減少帶寬爭奪情況。

2、優(yōu)化方案主要致力于減少帶寬競爭,增加鏈路負(fù)載的平衡性和帶寬利用率,同時對于MapReduce任務(wù)調(diào)度算法的任務(wù)分配算法進(jìn)行了改進(jìn),使得任務(wù)分配的時代考慮了網(wǎng)絡(luò)的因素。OFScheduler+包括下面的4個部分:
　　(1)一個可以標(biāo)記不同流量類型的標(biāo)記機(jī)制,利用對IP頭部的ToS的值進(jìn)行修改的方法標(biāo)記了不同類型的流量
　　(2)一個針對MapReduce基層網(wǎng)絡(luò)特征進(jìn)行特殊優(yōu)化的動態(tài)流調(diào)度算法,可以提高集群的網(wǎng)絡(luò)利用率

3、>　　(3)一個流速控制機(jī)制,可以根據(jù)集群中當(dāng)前的網(wǎng)絡(luò)狀態(tài),事實(shí)上開啟或者關(guān)閉MapReduce的負(fù)載平衡機(jī)制
　　(4) JobTracker通過查詢OpenFlow的控制器得到當(dāng)前網(wǎng)絡(luò)的狀態(tài),并將網(wǎng)絡(luò)因素融入了MapReduce調(diào)度算法的任務(wù)分配方案中
　　為了對本課題提出的優(yōu)化方案的效果進(jìn)行評估,我們實(shí)現(xiàn)了一個MapReduce模擬器,以及一個真實(shí)的OpenFlow的testbed。模擬結(jié)果說明,在一個多路徑拓?fù)涞漠悩?gòu)