Hadoop集群性能優(yōu)化研究.pdf

1、時代見證了大數(shù)據(jù)的蓬勃發(fā)展，大數(shù)據(jù)的提取、存儲和分析一直是IT領(lǐng)域的重要議題。許多優(yōu)良的分布式系統(tǒng)和計算框架技術(shù)應(yīng)運而生，作為其中的代表Hadoop和MapReduce從問世起，就引起了人們的廣泛關(guān)注，很多大型公司都利用Hadoop集群作為它們存儲數(shù)據(jù)和分析數(shù)據(jù)的主要平臺，部署Hadoop已經(jīng)成為一種IT行業(yè)技術(shù)發(fā)展的趨勢。然而任何一種新技術(shù)都或多或少有其局限性，對于Hadoop來說，隨著越來越多的公司采用Hadoop方案構(gòu)建其基礎(chǔ)平臺

2、，Hadoop存在的一些問題也凸顯出來，其中商業(yè)環(huán)境下企業(yè)最重要的問題主要是集群性能的問題。本文針對Hadoop平臺性能上存在的兩個方面的問題提出了相應(yīng)的優(yōu)化方案，這對于整個Hadoop的發(fā)展和優(yōu)化有著十分積極的作用。
　　首先第一個是關(guān)于集群數(shù)據(jù)分布策略的問題，我們知道數(shù)據(jù)本地性是影響Hadoop作業(yè)運行性能的關(guān)鍵因素，有一種說法是移動計算比移動數(shù)據(jù)要好，這是數(shù)據(jù)本地性的一個典型描述。數(shù)據(jù)本地性意味著幾乎不需要額外傳輸數(shù)據(jù)的開銷

3、。而在實際的Hadoop集群中，如果集群是同構(gòu)的，每個物理節(jié)點的計算性能相同，原始Hadoop的數(shù)據(jù)分布策略是根據(jù)數(shù)據(jù)備份機制把數(shù)據(jù)分布在集群的多個節(jié)點中，這樣的分布策略在集群同構(gòu)的情況下是十分有效的。然而在異構(gòu)情況下，由于不同節(jié)點之間計算性能的差異，這會導(dǎo)致數(shù)據(jù)本地性的缺失，集群中不同節(jié)點之間需要傳輸數(shù)據(jù)，此時Hadoop集群的性能將會顯著下降。因此在本文中，我們將深入研究了該問題，并提出了具體的數(shù)據(jù)分布方案，該方案的目的是對集群進行

4、數(shù)據(jù)的負載均衡，即根據(jù)物理機器計算性能的大小來分配數(shù)據(jù)。本文通過實驗證明了該數(shù)據(jù)分布機制的優(yōu)越性。
　　另一個是關(guān)于數(shù)據(jù)傳輸?shù)膯栴}。shuffle階段是MapReduce計算框架中作業(yè)運行的最重要的一部分，換句話說，shuffle階段的性能直接影響著作業(yè)執(zhí)行的性能，最直觀地體現(xiàn)在作業(yè)運行時間上。為了避免網(wǎng)絡(luò)擁塞，我們提出一個preshuffling算法來優(yōu)化原有的shuffle方案，該算法通過預(yù)處理map和reduce階段之間的中