mba論文面向互聯(lián)網(wǎng)的多型文件融合存儲(chǔ)系統(tǒng)pdf

1、AD i s s e r t a t i o nS u b m i t t e dt o Z h e j i a n gU n i V e r s it yf o rt h e D e g r e eo fM a s t e r o fE n g i n e e r i n g⑧T 工T L E ： I n t e r n e t 0 r ie n t e d F u s io nA u t h o r ： H u i Z h uS u

2、 p e r V i s o r ： ! 至旦g L i 3 U p e r V l S O r ： Y1 n gL 1S u b j e c t ：C 0 1 1 e g e ： g Q 里里皇g 里Q 至g Q 堡衛(wèi)墜主皇! §Q i 金旦魚(yú)金S u b m i t t e d D a t e ： 2 0 1 1 —1 —5浙江大學(xué)碩士學(xué)位論文 摘要摘要隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，各種新興的創(chuàng)新型應(yīng)用不斷涌現(xiàn)，爆炸式增長(zhǎng)的不同類(lèi)

3、型的各種信息對(duì)數(shù)據(jù)存儲(chǔ)提出新的要求。由于網(wǎng)絡(luò)應(yīng)用類(lèi)型的豐富性，其所產(chǎn)生的文件類(lèi)型和文件數(shù)量都遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)的通用文件系統(tǒng)所能支持的范圍。為了應(yīng)對(duì)不斷發(fā)展的網(wǎng)絡(luò)應(yīng)用所提出的存儲(chǔ)需求，面向互聯(lián)網(wǎng)的存儲(chǔ)系統(tǒng)需要具有如下幾個(gè)特點(diǎn)：首先是要能夠處理海量文件；其次要能夠支持多種類(lèi)型的文件的存儲(chǔ)，如從幾K B 的文本文件到幾G B 的視頻文件；然后要具有極高的性能，能夠支持大量的并發(fā)訪問(wèn)。針對(duì)以上這些問(wèn)題，本文設(shè)計(jì)和實(shí)現(xiàn)了一種面向互聯(lián)網(wǎng)環(huán)境的，支持海

4、量數(shù)據(jù)的，對(duì)多種類(lèi)型文件提供融合存儲(chǔ)的分布式文件系統(tǒng)一一F D F S ( F u s i o nD i s t r i b u t e dF i l e S y s t e m ) 。它借鑒了已有的分布式文件系統(tǒng)的設(shè)計(jì)經(jīng)驗(yàn)，打破了常規(guī)的分布式文件系統(tǒng)只能存儲(chǔ)海量小文件或者只設(shè)計(jì)用于存儲(chǔ)大數(shù)據(jù)集文件的壁壘，將海量的不同規(guī)模、不同類(lèi)型的文件存儲(chǔ)在同一個(gè)系統(tǒng)中，大大提高了物理空間的利用率、降低了服務(wù)器集群管理的復(fù)雜度、同時(shí)為全局范圍內(nèi)的負(fù)載

5、均衡和存儲(chǔ)空間分配提供了更加精確的支持。本文著重闡述了F D F S 系統(tǒng)的體系架構(gòu)設(shè)計(jì)以及系統(tǒng)設(shè)計(jì)中核心問(wèn)題的實(shí)現(xiàn)策略。本系統(tǒng)采用了M a s t e r ／S 1 a v e 架構(gòu)模式，使用中心節(jié)點(diǎn)——N 砌e S e r v e r 和M e t a S e r v e r ，分別管理系統(tǒng)的存儲(chǔ)空間和目錄空間，用戶(hù)數(shù)據(jù)則分布在大量的存儲(chǔ)節(jié)點(diǎn)D a t a S e r v e r 上，并且通過(guò)F D F S 客戶(hù)端向用戶(hù)提供訪問(wèn)系統(tǒng)