基于MapReduce數(shù)據(jù)傾斜問題的研究與策略.pdf

1、云計算和大數(shù)據(jù)一直是最近幾年來最熱門的話題之一，隨著信息技術(shù)的不斷發(fā)展，云計算和大數(shù)據(jù)為社會各個領(lǐng)域帶來了一場技術(shù)革命，同時加上互聯(lián)網(wǎng)的普及和國家對“互聯(lián)網(wǎng)+”的推動，人們都加入到對云計算大數(shù)據(jù)的技術(shù)研究中來。在這樣的背景下，每天都伴隨有大量的信息產(chǎn)生，使得數(shù)據(jù)呈指數(shù)增長，而如此大規(guī)模數(shù)據(jù)背后蘊藏的無限價值也值得人們?nèi)ネ诰?，國?nèi)外的很多著名IT企業(yè)也都將其納入為首要戰(zhàn)略。
　　MapReduce作為一種大數(shù)據(jù)環(huán)境下的并行計算編程模

2、型，其高效可靠的特性被應(yīng)用于各個領(lǐng)域，但是MapReduce本身也存在一定的局限，當(dāng)它處理分布不均勻的數(shù)據(jù)時，經(jīng)過Map階段后Reducer節(jié)點所分配到的任務(wù)負載不均衡，導(dǎo)致出現(xiàn)“木桶效應(yīng)”，某些節(jié)點負載輕完成后即進入空閑狀態(tài)，而負載重的節(jié)點仍在計算狀態(tài)而完成時間長，從而影響整體作業(yè)的工作效率，降低集群工作性能。
　　本文針對上述問題做出研究并提出相應(yīng)策略，策略第一階段使用一種水塘抽樣算法對原數(shù)據(jù)進行抽樣，通過開啟一個抽樣預(yù)處理作

3、業(yè)來統(tǒng)計樣本數(shù)據(jù)中key值頻次分布并估算出整體數(shù)據(jù)的分布，同時使用一致性Hash算法代替默認的Hash分區(qū)算法進行分區(qū)，使得抽樣預(yù)處理作業(yè)的Reducer達到一定的均衡。策略第二階段使用一種改進的Partitioner算法根據(jù)預(yù)處理計算的中間結(jié)果制定出合理的分區(qū)方案，并在最后的實驗中用作業(yè)的總體運行時間和Reducer節(jié)點負載均衡情況兩種指標進行驗證，并與傳統(tǒng)的抽樣方法及默認的Hash分區(qū)函數(shù)進行對比，實驗表明本文方案在處理具有傾斜屬性