基于Hadoop的云存儲平臺的研究與實現(xiàn).pdf

1、近年來，云計算日益成為國內(nèi)外關(guān)注的焦點。當(dāng)云計算系統(tǒng)中運算和處理的核心是大量數(shù)據(jù)的存儲時，云計算系統(tǒng)就衍變?yōu)橐粋€云存儲系統(tǒng)。云計算的飛速發(fā)展，使云存儲也成為當(dāng)前業(yè)界最熱門的研究領(lǐng)域。云存儲作為一種新的服務(wù)，它將用戶的數(shù)據(jù)存儲在云端服務(wù)器上，用戶只要通過互聯(lián)網(wǎng)登錄云存儲服務(wù)系統(tǒng)，就可以在任何地方任何時候訪問自己的數(shù)據(jù)，并且不用擔(dān)心數(shù)據(jù)會丟失。
　　Hadoop是 Apache開發(fā)的一種開源的分布式計算平臺，在分布式計算和數(shù)據(jù)存儲方面

2、表現(xiàn)出優(yōu)異的性能，引起了國內(nèi)外知名IT企業(yè)的關(guān)注，各大企業(yè)和科研機構(gòu)紛紛投入研究，使得 Hadoop在云計算和云存儲中的應(yīng)用越來越廣泛。HDFS是Hadoop的分布式文件系統(tǒng)，它具有強大的數(shù)據(jù)存儲能力，適合云存儲系統(tǒng)。但它在設(shè)計上存在一些缺陷，性能上并不完美，要想大規(guī)模推廣使用，必須先進(jìn)行改進(jìn)。
　　本文主要研究基于HDFS的云存儲模型，針對HDFS在小文件存儲不理想和副本分布不均衡兩個問題上對其進(jìn)行改進(jìn)，并使用改進(jìn)后的 HDFS

3、搭建云存儲平臺。主要工作如下：
　　1. HDFS為確保數(shù)據(jù)存儲的可靠性，采用副本機制將文件的副本存儲在集群中。文件副本以數(shù)據(jù)塊的形式存放在不同的DataNode上，然而HDFS默認(rèn)的副本分布策略具有隨機性，不能保證副本均衡地分布在集群中。為解決這一問題，本文提出了一種基于加權(quán)評價指標(biāo)矩陣選擇距離最優(yōu)解最近、最差解最遠(yuǎn)的節(jié)點的算法，對權(quán)值的確定采用層次分析法進(jìn)行計算，在兼顧節(jié)點負(fù)載的同時，著重考察空間使用率，選擇最合適的DataN

4、ode來放置數(shù)據(jù)副本，使各DataNode的空間負(fù)載整體均衡。
　　2. HDFS是為大文件設(shè)計的，不適合大量小文件的存儲。相同數(shù)據(jù)量情況下，小文件會浪費NameNode的內(nèi)存，同時降低訪問效率。針對這一問題，本文對HDFS的文件存儲過程進(jìn)行改進(jìn)，在文件上傳到 HDFS集群之前先進(jìn)行判斷，如果是小文件則需要進(jìn)行合并優(yōu)化處理，并將小文件的索引信息以鍵值對的形式保存在索引文件中。改進(jìn)方案減小了大量小文件對 NameNode內(nèi)存的消耗，