MapReduce數(shù)據(jù)流優(yōu)化的研究.pdf

1、隨著云計算技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)和科學(xué)計算領(lǐng)域需要處理的數(shù)據(jù)呈現(xiàn)出級數(shù)式增長的趨勢，并行編程技術(shù)在這海量數(shù)據(jù)處理中發(fā)揮著重要作用。當(dāng)前運用較多的是由Google提出的MapReduce分布式并行計算編程模型，它將處理過程抽象成map和redcue兩個函數(shù)，底層框架負(fù)責(zé)數(shù)據(jù)分片、任務(wù)調(diào)度、集群容錯、集群間通信等任務(wù)。專家學(xué)者對MapReduce模型在集群中應(yīng)用存在的缺陷提出了幾種改進(jìn)模型，但大多只針對某一問題或只適用于某一類應(yīng)用而缺乏普遍

2、性。
　　 本文借助數(shù)據(jù)流分析技術(shù)，對MapReduce進(jìn)行數(shù)據(jù)流分析與優(yōu)化，將其中的消息處理分割出來，來解決MapReduce集群中主節(jié)點的消息處理過重而造成負(fù)載失衡的問題。隨之，采用消息代理機(jī)制對MapReduce模型進(jìn)行改進(jìn)。論文主要工作有:
　　 (1)對MapReduce數(shù)據(jù)流進(jìn)行分析與優(yōu)化。借助數(shù)據(jù)流分析技術(shù)，對模型進(jìn)行深入剖析，此部分主要分三個階段:MapReduce細(xì)節(jié)化處理，數(shù)據(jù)流分析與優(yōu)化，消息處理的

3、分割;并建立了面向MapReduce的消息代理理論模型。
　　 (2)提出MapReduce改進(jìn)模型。在MapReduce數(shù)據(jù)流優(yōu)化后，已較好地將消息處理從主節(jié)點的工作中分割出來。為該理論于實際模型中，本文采用消息代理機(jī)制(Message Broker Mechanism)，建立了基于消息代理機(jī)制的MapReduce改進(jìn)模型。
　　 (3)對改進(jìn)模型進(jìn)行實驗仿真。借助Eucalytus基礎(chǔ)設(shè)施平臺構(gòu)建集群，以Hadoop

4、為運行環(huán)境，NaradaBrokering為消息代理實體，建立了適合原模型和改進(jìn)模型實際運行的平臺架構(gòu)。實驗應(yīng)用包括音樂家相似度計算和k-means聚類計算，分別考察其平均負(fù)載和擴(kuò)展性的表現(xiàn)。
　　 實驗數(shù)據(jù)得出，基于消息代理機(jī)制的MapReduce框架在數(shù)據(jù)密集型應(yīng)用中對主節(jié)點的負(fù)載均衡有一定的提高，本文實驗的實例中集群中的主節(jié)點的平均負(fù)載值下降了3.71％;改進(jìn)模型在計算密集型應(yīng)用上雖然運行時間上沒有顯著提高，但從加速比中看