MapReduce模型下數(shù)據(jù)本地性負(fù)載平衡策略研究.pdf

1、隨著社會(huì)的發(fā)展，互聯(lián)網(wǎng)中的數(shù)據(jù)信息處于爆炸式的增長(zhǎng)狀態(tài)，每天互聯(lián)網(wǎng)中都會(huì)產(chǎn)生海量的數(shù)據(jù)。可以想象，以后人們所面臨的數(shù)據(jù)規(guī)模會(huì)越來(lái)越巨大。從這些巨大的數(shù)據(jù)中如何能夠快速高效地尋找到有價(jià)值的數(shù)據(jù)資源變得越來(lái)越重要。正是在這樣的背景下，云計(jì)算這個(gè)新型的數(shù)據(jù)處理技術(shù)正在快速的發(fā)展。
　　MapReduce是云計(jì)算技術(shù)中的一種并行處理大規(guī)模數(shù)據(jù)的處理模型，它具有簡(jiǎn)單易用、高可擴(kuò)展性和高容錯(cuò)性的特點(diǎn)，因此被廣泛應(yīng)用于云計(jì)算領(lǐng)域。Hadoop平

2、臺(tái)是MapReduce編程模型一個(gè)具體的應(yīng)用，目前許多公司和高校都采用它開(kāi)發(fā)和研究云計(jì)算技術(shù)。然而，它的一些處理機(jī)制影響著它性能的發(fā)揮。當(dāng)面對(duì)傾斜數(shù)據(jù)時(shí)，原有的分區(qū)算法無(wú)法均衡的分配數(shù)據(jù)到各處理節(jié)點(diǎn)，這樣就導(dǎo)致了處理節(jié)點(diǎn)間負(fù)載不平衡，并且造成網(wǎng)路負(fù)載加重，從而導(dǎo)致集群性能的降低。
　　本文所提出的方法針對(duì)MapReduce作業(yè)過(guò)程中的Partition部分的分區(qū)算法進(jìn)行調(diào)整和優(yōu)化，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于數(shù)據(jù)本地性的負(fù)載均衡策略(DAL

3、P)。通過(guò)合理的抽樣，對(duì)作業(yè)數(shù)據(jù)進(jìn)行預(yù)處理，分析出數(shù)據(jù)中各key的頻數(shù)分布情況，然后利用分析的數(shù)據(jù)制定一個(gè)數(shù)據(jù)聚合策略(DA)，該策略考慮了key的數(shù)據(jù)大小，可以更加合理地為各Reduce節(jié)點(diǎn)分配數(shù)據(jù)，能有效地緩解集群節(jié)點(diǎn)的負(fù)載不平衡問(wèn)題，提高了集群整體性能。此外，針對(duì)集群中網(wǎng)絡(luò)帶寬制約集群性能的問(wèn)題，結(jié)合對(duì)平臺(tái)數(shù)據(jù)本地性的深入研究，又提出了一個(gè)基于數(shù)據(jù)本地性的數(shù)據(jù)分配策略(LP)，在數(shù)據(jù)聚合的基礎(chǔ)上利用本地性數(shù)據(jù)分配方法，能夠有效減少