面向互聯(lián)網(wǎng)的多型文件融合存儲系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，各種新興的創(chuàng)新型應(yīng)用不斷涌現(xiàn)，爆炸式增長的不同類型的各種信息對數(shù)據(jù)存儲提出新的要求。由于網(wǎng)絡(luò)應(yīng)用類型的豐富性，其所產(chǎn)生的文件類型和文件數(shù)量都遠遠超過了傳統(tǒng)的通用文件系統(tǒng)所能支持的范圍。為了應(yīng)對不斷發(fā)展的網(wǎng)絡(luò)應(yīng)用所提出的存儲需求，面向互聯(lián)網(wǎng)的存儲系統(tǒng)需要具有如下幾個特點：首先是要能夠處理海量文件；其次要能夠支持多種類型的文件的存儲，如從幾KB的文本文件到幾GB的視頻文件；然后要具有極高的性能，能夠支持大量的并發(fā)訪問。

2、
　　 針對以上這些問題，本文設(shè)計和實現(xiàn)了一種面向互聯(lián)網(wǎng)環(huán)境的，支持海量數(shù)據(jù)的，對多種類型文件提供融合存儲的分布式文件系統(tǒng)--FDFS(FusionDistributed File System)。它借鑒了已有的分布式文件系統(tǒng)的設(shè)計經(jīng)驗，打破了常規(guī)的分布式文件系統(tǒng)只能存儲海量小文件或者只設(shè)計用于存儲大數(shù)據(jù)集文件的壁壘，將海量的不同規(guī)模、不同類型的文件存儲在同一個系統(tǒng)中，大大提高了物理空間的利用率、降低了服務(wù)器集群管理的復(fù)雜度、同

3、時為全局范圍內(nèi)的負(fù)載均衡和存儲空間分配提供了更加精確的支持。
　　 本文著重闡述了FDFS系統(tǒng)的體系架構(gòu)設(shè)計以及系統(tǒng)設(shè)計中核心問題的實現(xiàn)策略。本系統(tǒng)采用了Master/Slave架構(gòu)模式，使用中心節(jié)點--NameServer和MetaServer，分別管理系統(tǒng)的存儲空間和目錄空間，用戶數(shù)據(jù)則分布在大量的存儲節(jié)點DataServer上，并且通過FDFS客戶端向用戶提供訪問系統(tǒng)的接口。FDFS中的物理空間以“塊(Block)”為單位