基于Hadoop的分布式文件系統(tǒng)優(yōu)化技術(shù)研究.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)量急劇增加，這些數(shù)據(jù)經(jīng)過(guò)分析和挖掘后可以得到非常有價(jià)值的信息，這些信息可用于商業(yè)、科研、生產(chǎn)等各方面研究。急劇增長(zhǎng)的海量數(shù)據(jù)如果使用傳統(tǒng)的超級(jí)計(jì)算機(jī)來(lái)處理會(huì)帶來(lái)高昂的花費(fèi)、巨大的能源消耗，而云計(jì)算作為一種廉價(jià)、高效、可靠的解決方案得到了人們的關(guān)注。Hadoop是一個(gè)開(kāi)源的云數(shù)據(jù)處理平臺(tái)，可以廣泛的應(yīng)用于海量數(shù)據(jù)的處理和分析。云平臺(tái)采用了分布式文件系統(tǒng)，著名的分布式文件系統(tǒng)有Lustre、GPFS(Gen

2、eralParallelFileSystem)等，這些系統(tǒng)的設(shè)計(jì)都是基于大型機(jī)，不適合目前以微機(jī)為主的云計(jì)算環(huán)境。
　　本文采用GlusterFS作為云平臺(tái)的分布式文件系統(tǒng)，GlusterFS是一個(gè)適用于微機(jī)的分布式文件系統(tǒng)。本文首先要實(shí)現(xiàn)GlusterFS與Hadoop的核心模塊Common的連接，這點(diǎn)的實(shí)現(xiàn)本文利用了GlusterFS自身的Translator機(jī)制，該機(jī)制能夠?qū)崿F(xiàn)所有GlusterFS的擴(kuò)展功能。利用Trans

3、lator中的庫(kù)函數(shù)連接Hadoop的Common核心，獲取相應(yīng)存儲(chǔ)權(quán)限并定義了org.apache.hadoop.fs.glusterfs類，然后創(chuàng)建符合GlusterFS數(shù)據(jù)格式的數(shù)據(jù)流并采用FUSE(FilesysteminUserspace)方式將GlusterFS掛載到了Hadoop中，從而替代了Hadop中自身的分布式文件系統(tǒng)HDFS（HadoopDistributedFileSystem）。這樣就能避開(kāi)HDFS的缺陷，利用

4、GlusterFS的優(yōu)點(diǎn)提升Hadoop整體的云計(jì)算性能。該方案實(shí)現(xiàn)的優(yōu)化平臺(tái)采用了Infiniband與RDMA(RemoteDirectMemoryAccess)協(xié)議結(jié)合的傳輸網(wǎng)絡(luò)，該網(wǎng)絡(luò)能保證Hadoop不會(huì)受到網(wǎng)絡(luò)帶寬和速率的限制，進(jìn)一步提高了Hadoop的性能;根據(jù)系統(tǒng)中網(wǎng)絡(luò)擁塞情況，采用了一個(gè)判斷函數(shù)來(lái)決定是否在當(dāng)前網(wǎng)絡(luò)中采用數(shù)據(jù)壓縮以節(jié)省網(wǎng)絡(luò)的帶寬，進(jìn)一步提升了Hadoop的數(shù)據(jù)傳輸速率;針對(duì)當(dāng)前GlusterFS的數(shù)據(jù)緩

5、存算法考慮的不是很全面，采用了GAC(GlusterFSAutomaticCacheAlgorithm)數(shù)據(jù)緩存算法，該算法先對(duì)當(dāng)前數(shù)據(jù)的順序性進(jìn)行有無(wú)判斷，再對(duì)有順序性的數(shù)據(jù)進(jìn)行強(qiáng)弱判斷，針對(duì)強(qiáng)順序性的數(shù)據(jù)采用預(yù)讀粒度計(jì)算公式計(jì)算當(dāng)前預(yù)讀粒度的大小，這樣可以通過(guò)合理的預(yù)讀來(lái)提升Hadoop的文件系統(tǒng)性能。這一系列的優(yōu)化措施較大的提升了Hadoop平臺(tái)中分布式文件系統(tǒng)的性能。本文通過(guò)在Hadoop平臺(tái)上的測(cè)試，證明了本文的優(yōu)化Hadoo