處理MapReduce模型中數(shù)據(jù)傾斜問題的算法.pdf

1、在大數(shù)據(jù)時代，每天都有各種各樣的電子設備（如：個人計算機，移動智能電話，服務器等）產(chǎn)生大量的多維度的數(shù)據(jù)。由于MapReduce具有強大的可擴展性、可用性和可靠性，成為處理大數(shù)據(jù)的著名編程模型。然而，MapReduce編程模型同樣具有其局限性，如何減少集群的處理總時間就是其中之一?？茖W家發(fā)現(xiàn)數(shù)據(jù)傾斜是導致任務總完工時間較大的主要原因，并且已有研究團隊從不同的角度提出的一些解決方法，但是這些方法全部是基于第一代Hadoop系統(tǒng)，目前還沒有

2、基于Hadoop二代（即Hadoop-Yarn）的可靠算法的提出與實現(xiàn)。
　　本論文正是針對上面提出的問題，以MapReduce模型中的數(shù)據(jù)傾斜問題為研究對象，對目前解決MapReduce模型中數(shù)據(jù)傾斜問題方法的不足進行了深入分析，對如何通過降低數(shù)據(jù)傾斜的程度來減少任務總完工時間進行了詳盡的研究。主要內(nèi)容為：
　　首先，在本文中，對六種算法（Hadoop默認的推測執(zhí)行，SkewReduce，SkewTune， iShuffl

3、e，LEEN和LIBRA）在架構、主要特征、核心算法、性能度量和評估方法方面進行了分析與對比，以充分理解和掌握數(shù)據(jù)傾斜問題最新研究狀況和第一代算法的優(yōu)缺點；
　　其次，針對一批Hadoop任務的數(shù)據(jù)傾斜問題，通過對資源均衡化，動態(tài)調(diào)整Hadoop資源的分配，提出離線和在線的HScheduler算法，減小數(shù)據(jù)傾斜對總完工時間的影響，并通過計算算法的競爭比來提升該算法的質(zhì)量；
　　接著，針對單任務的數(shù)據(jù)傾斜問題，提出基于Hado