基于HDFS的分布式存儲研究與實現(xiàn).pdf

1、隨著信息化社會的快速發(fā)展,互聯(lián)網(wǎng)中的數(shù)據(jù)急劇膨脹。大規(guī)模的數(shù)據(jù)生產(chǎn)就必然伴隨著大規(guī)模的數(shù)據(jù)存儲,但傳統(tǒng)存儲方式很難突破其存儲限制,分布式存儲系統(tǒng)應(yīng)運而生。
　　Hadoop是由Apache軟件基金會開發(fā)的一個分布式計算框架,目前已廣泛應(yīng)用于各大互聯(lián)網(wǎng)公司。Hadoop的核心是 MapReduce和 HDFS,分別為數(shù)據(jù)提供計算和存儲服務(wù)。HDFS是Hadoop的分布式文件系統(tǒng),也是Google公司設(shè)計的GFS的一種開源實現(xiàn),所以其

2、基本結(jié)構(gòu)與GFS一致,都屬于主從模式。目前,由于Hadoop在云計算領(lǐng)域被越來越廣泛地使用,以及HDFS本身優(yōu)秀的存儲能力, HDFS受到了廣泛關(guān)注,許多公司和科研單位紛紛開展HDFS的研究工作。但是,HDFS仍有許多不完善的地方,它仍在不停地改進和更新。
　　本文深入分析了HDFS的結(jié)構(gòu)和運行機制,指出了其部分設(shè)計缺陷,針對HDFS的副本策略進行改進,主要工作如下:
　　(1) HDFS默認的靜態(tài)副本冗余策略并不能區(qū)分熱點

3、數(shù)據(jù),導致存放這些數(shù)據(jù)的節(jié)點成為集群的一個瓶頸。針對這一問題,本文提出了一種基于數(shù)據(jù)熱度的動態(tài)冗余策略。該策略統(tǒng)計并預(yù)測每個文件的訪問情況,并且每個文件的統(tǒng)計周期隨其訪問頻率的變化而變化,這樣能快速反映出數(shù)據(jù)熱度的趨勢,及時增加或減少副本。使用該策略能加快系統(tǒng)響應(yīng)速度,提高集群的吞吐量,減少作業(yè)時間。
　　(2) HDFS沒有考慮DataNode的異構(gòu)性,如果性能差的節(jié)點存放了更多的數(shù)據(jù),那么讀取、處理數(shù)據(jù)時低性能節(jié)點需要承擔更多

4、的負載,閑置了高性能節(jié)點的處理能力,負載分配不均衡。針對這一問題,本文提出了一種基于節(jié)點性能評價和網(wǎng)絡(luò)距離的放置策略。首先提供一個接口讓用戶自定義節(jié)點狀態(tài)信息并配置其權(quán)重,然后使用改進的TOPSIS算法評價節(jié)點,最后綜合網(wǎng)絡(luò)距離選擇節(jié)點放置副本。該策略允許用戶自行設(shè)置關(guān)注點,并且在此基礎(chǔ)上均衡各節(jié)點的負載,提高系統(tǒng)整體性能。
　　(3)進行大量仿真和實驗,并且基于改進的HDFS集群開發(fā)了C/S模型的云存儲系統(tǒng),用HDFS默認策略對