基于抽樣估計(jì)的MapReduce負(fù)載平衡研究.pdf

1、從云計(jì)算的涌現(xiàn)到其目前發(fā)展得如此成熟都應(yīng)歸功于現(xiàn)實(shí)環(huán)境的促進(jìn)和互聯(lián)網(wǎng)技術(shù)的發(fā)展。首先，互聯(lián)網(wǎng)在各行各業(yè)的迅速普及，使得數(shù)據(jù)量呈爆發(fā)式地增長(zhǎng)。國(guó)際數(shù)據(jù)公司(IDC)的一項(xiàng)研究統(tǒng)計(jì)顯示，全球2010年所產(chǎn)生的數(shù)據(jù)量約是1.3ZB，而第二年又增加了約0.6ZB，這就是說(shuō)地球上每一個(gè)人產(chǎn)生的數(shù)據(jù)最少200GB大小，此后增長(zhǎng)得更迅猛。數(shù)據(jù)量早已不是那個(gè)TB的時(shí)代，更大的數(shù)據(jù)級(jí)別即將到來(lái)。那么怎么合理地存儲(chǔ)并處理這些海量數(shù)據(jù)是人們面臨的一個(gè)重大難題

2、。其次，由于云計(jì)算具有壓倒性的成本優(yōu)勢(shì)，各大公司都把主要的戰(zhàn)略投向云計(jì)算技術(shù)，也使得云計(jì)算的發(fā)展極為迅速。
　　MapReduce已被證明在其上可以提供有效而且強(qiáng)大的并行處理方法，通過(guò)此模型，一些沒(méi)有操作過(guò)并行程序處理的程序員同樣可運(yùn)用得游刃有余，可是MapReduce自身還存在著不足之處，那就是MapReduce的數(shù)據(jù)傾斜(DataSkew)在運(yùn)行中普遍的存在。當(dāng)大型數(shù)據(jù)集中數(shù)據(jù)分布不均衡時(shí)，會(huì)在運(yùn)行時(shí)使得節(jié)點(diǎn)的負(fù)載不平衡，個(gè)別

3、的任務(wù)會(huì)成為整個(gè)作業(yè)的“落后者”，從而導(dǎo)致整個(gè)系統(tǒng)的性能降低，整個(gè)作業(yè)運(yùn)行時(shí)間也被延長(zhǎng)了。
　　本論文研究的問(wèn)題就是如何高效地解決在MapReduce程序運(yùn)行中Reduce階段出現(xiàn)的數(shù)據(jù)傾斜情況，現(xiàn)有的一些方法都是異步的，這樣降低了MapReduce的同步性，因此本論文主要采用“先預(yù)處理，后劃分”的策略，使Reducer達(dá)到負(fù)載平衡。首先使用一種二層抽樣的技術(shù)統(tǒng)計(jì)出數(shù)據(jù)集上key的基數(shù)分布情況，然后根據(jù)這個(gè)分布情況提前制定出分配策