基于Hadoop的分布式文件存儲服務(wù)平臺設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)應(yīng)用的飛速發(fā)展，互聯(lián)網(wǎng)上的信息和數(shù)據(jù)量呈現(xiàn)爆炸性增長，如何高效、安全地組織和存儲這些大規(guī)模的數(shù)據(jù)，并最大程度地降低應(yīng)用成本，引發(fā)了國內(nèi)外越來越多的學(xué)術(shù)界和企業(yè)界的關(guān)注。當(dāng)前，無論在廣義的互聯(lián)網(wǎng)環(huán)境中，還是在中等規(guī)模企業(yè)的內(nèi)部網(wǎng)中，抑或在小規(guī)模的局域網(wǎng)中，都存在著大量高性能且廉價的閑散存儲資源。充分利用這些閑散、廉價的存儲資源，構(gòu)建可信、優(yōu)質(zhì)的大規(guī)模存儲池，是解決上述問題的有效手段。
　　 分布式文件系統(tǒng)為有效利用分散存

2、儲資源提供了一條途徑。然而，傳統(tǒng)意義上的分布式文件存儲系統(tǒng)，如Hadoop項目中的HDFS，是運行在結(jié)點性能相似、網(wǎng)絡(luò)環(huán)境高度穩(wěn)定的集群系統(tǒng)中的。因此，如果直接將傳統(tǒng)的分布式文件系統(tǒng)部署在網(wǎng)絡(luò)環(huán)境動態(tài)變化、存儲結(jié)點自由進出的網(wǎng)絡(luò)中，則存在空間利用率低、網(wǎng)絡(luò)動態(tài)適應(yīng)性差、存儲結(jié)點信譽度低等問題。本文以Hadoop開源系統(tǒng)為基礎(chǔ)，研究適用于廣域網(wǎng)絡(luò)的廣義分布式文件存儲服務(wù)模型，設(shè)計并實現(xiàn)了一個基于高效冗余備份策略及服務(wù)品質(zhì)感知的分布式文件存

3、儲服務(wù)平臺--ODFS。研究工作取得如下成果：
　　 (1)將分布式文件存儲系統(tǒng)建立在動態(tài)網(wǎng)絡(luò)環(huán)境中，充分利用了網(wǎng)絡(luò)環(huán)境中的廉價計算資源，降低了存儲服務(wù)系統(tǒng)的總體擁有成本；
　　 (2)提出了一種基于恢復(fù)卷的冗余備份機制，大大減少了文件冗余信息的存儲空間，并且降低了文件的維護成本；
　　 (3)建立了基于層次化名稱結(jié)點的樹狀存儲系統(tǒng)模型，解決了不同集群間不可共用一套分布式系統(tǒng)的瓶頸問題：
　　 (4)設(shè)計