MapReduce計(jì)算模型性能優(yōu)化的研究.pdf

1、山東建筑大學(xué)碩士學(xué)位論文題目MapReduce計(jì)算模型性能優(yōu)化的研究計(jì)：學(xué)位論文50頁表格2個(gè)插圖2l幅評(píng)閱人：指導(dǎo)教師：學(xué)院院長：學(xué)位論文完成日期：～一耕一一一一一山東建筑大學(xué)碩士學(xué)位論文摘要伴隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展，每天會(huì)產(chǎn)生海量數(shù)據(jù)，數(shù)據(jù)處于爆炸式的增長狀態(tài)，這預(yù)示著大數(shù)據(jù)時(shí)代的到來。大數(shù)據(jù)時(shí)代的數(shù)據(jù)具有數(shù)量大、結(jié)構(gòu)復(fù)雜的特點(diǎn)，導(dǎo)致數(shù)據(jù)存儲(chǔ)和計(jì)算難度的加大。Google提出的MapReduce分布式計(jì)算模型簡化了

2、海量數(shù)據(jù)計(jì)算的問題，成為研究的熱點(diǎn)。所以本文對(duì)MapReduce技術(shù)的研究和性能的優(yōu)化具有實(shí)際意義。MapReduce是一種分布式計(jì)算模型，它簡化了程序員編寫分布式程序的步驟，因此被廣泛應(yīng)用于大數(shù)據(jù)領(lǐng)域。Hadoop是MapReduce的開源實(shí)現(xiàn)，具備海量數(shù)據(jù)處理的能力。然而，它的一些處理機(jī)制影響了性能的發(fā)揮。比如：當(dāng)數(shù)據(jù)出現(xiàn)傾斜時(shí)，原有的劃分方法不能保證節(jié)點(diǎn)的負(fù)載均衡，集群性能會(huì)受影響。因此，需要優(yōu)化現(xiàn)有的處理機(jī)制。本文研究的主要內(nèi)容

3、是：首先對(duì)Hadoop平臺(tái)進(jìn)行簡單介紹，重點(diǎn)研究MapReduce計(jì)算模型，對(duì)其組成模塊和運(yùn)行機(jī)制進(jìn)行深入的分析。在分析MapReduce源碼的基礎(chǔ)上，發(fā)現(xiàn)了當(dāng)數(shù)據(jù)存在傾斜時(shí)節(jié)點(diǎn)會(huì)出現(xiàn)負(fù)載不均的問題和在異構(gòu)環(huán)境下推測(cè)執(zhí)行機(jī)制效率低的問題。針對(duì)數(shù)據(jù)存在傾斜負(fù)載不均的問題，本文提出了一種抽樣的方法，利用抽樣獲取Map端中間結(jié)果的分布信息，在抽樣的基礎(chǔ)上結(jié)合數(shù)據(jù)局部性產(chǎn)生劃分函數(shù)，可以使節(jié)點(diǎn)負(fù)載趨于均衡。針對(duì)原有的推測(cè)執(zhí)行機(jī)制效率低的問題，本