大規(guī)模分布式存儲(chǔ)技術(shù)研究.pdf

1、電子科技大學(xué)博士學(xué)位論文摘要隨著Internet和網(wǎng)絡(luò)應(yīng)用的普及和飛速發(fā)展，分布式存儲(chǔ)技術(shù)取得了長(zhǎng)足的進(jìn)步，同時(shí)也面臨巨大的挑戰(zhàn):日益增加的用戶數(shù)量，數(shù)據(jù)分布的地域空間更加廣闊，數(shù)據(jù)存儲(chǔ)量爆炸性增長(zhǎng)，越來越高的數(shù)據(jù)可靠性要求以及訪問數(shù)據(jù)的設(shè)備種類日益增多等。如何構(gòu)建大規(guī)模、高效率、易于擴(kuò)展、高可靠的存儲(chǔ)系統(tǒng)，是分布式存儲(chǔ)技術(shù)迫切需要解決的問題。本文從如何提供大規(guī)模、高可用、高效率分布式存儲(chǔ)服務(wù)的角度出發(fā)，在對(duì)分布式存儲(chǔ)領(lǐng)域的最新研究成果

2、進(jìn)行了系統(tǒng)、全面的學(xué)習(xí)和總結(jié)的基礎(chǔ)上，對(duì)分布式協(xié)作存儲(chǔ)、Internet范圍內(nèi)的大規(guī)模分布式存儲(chǔ)兩個(gè)方面進(jìn)行了深入細(xì)致地研究，取得了若干創(chuàng)新和成果。本文的主要?jiǎng)?chuàng)新點(diǎn)包括:1、提出了一種分布式協(xié)作存儲(chǔ)機(jī)制一CoStore.CoStore將各節(jié)點(diǎn)的空閑磁盤空間組織成一個(gè)統(tǒng)一的存儲(chǔ)池，通過節(jié)點(diǎn)之間的相互協(xié)作實(shí)現(xiàn)數(shù)據(jù)的容錯(cuò)和共享。CoStore以P2P完全圖拓?fù)浣Y(jié)構(gòu)組織節(jié)點(diǎn)，采用多目錄樹名字空間、分片冗余以及并行傳輸?shù)葯C(jī)制為用戶提供高效、可靠的

3、存儲(chǔ)服務(wù)。2、提出了一種基于P2P的海量存儲(chǔ)機(jī)制一GStore.GStore采用具有高擴(kuò)展性的P2P體系結(jié)構(gòu)，將大量分散的節(jié)點(diǎn)組織成一個(gè)邏輯網(wǎng)絡(luò)，以此構(gòu)建面向Internet的大規(guī)模分布式存儲(chǔ)系統(tǒng)。GStore采用動(dòng)態(tài)P2P路由機(jī)制、優(yōu)化的數(shù)據(jù)分布策略、自適應(yīng)的副本管理以及并行傳輸機(jī)制為用戶提供高效、可靠的存儲(chǔ)服務(wù)。3、提出了一種P2P動(dòng)態(tài)路由機(jī)制一DynRouteoDynRoutettl一對(duì)常用P2P路由算法依賴顯式的靜態(tài)IP地址的問

4、題，解藕全局節(jié)點(diǎn)號(hào)與IP地址，引入分布式地址映射服務(wù)，保證動(dòng)態(tài)地址環(huán)境中的正確路由和對(duì)象定位。地址映射服務(wù)及時(shí)檢測(cè)節(jié)點(diǎn)IP地址的變化，完成節(jié)點(diǎn)全局標(biāo)識(shí)號(hào)NID到節(jié)點(diǎn)當(dāng)前IP地址的映射，并為地址映射引入安全認(rèn)證機(jī)制，防御IP欺騙。電子科技大學(xué)博士學(xué)位論文AbstractAlongwiththerapiddevelopmentofInternetandnetworkapplicationthedistributedstoragetechno

5、logyhasmadegreatprogress.Howeveritisconfrontedwithgreatchallengessuchastheincrementalnumberofuserthebroaderareasofdatadistributionthesharpincreaseintheamountofdatastoragethemorecriticalrequirementofavailabilityandtherapi

6、dexpansioninthetypesoftheequipmentsandsoon.Howtoconstructadistributedstoragesystemwithlargescaleefficiencyextensibilityandreliabilityisasubjectthatneedstoberesolvedurgently.Thisdissertationexploresthetechnologyofdistribu

7、teddatastoragetoprovidehighavailabilityandhighperformancedistributedstorageservice.Basedonthesystematicsummarizationoftherelevantworkondistributeddatastoragethisdissertationnotonlycarryaresearchonthedistributedcooperativ

8、estorageandtheInternetorientedlargescaledistributedstoragebutalsomakesseveralinnovationsandachievementswhichwillbeillustratedindetailasfollowsThebreakthroughofthisdissertationcouldbeembodiedinthefollowingseveralrespects:

9、1、Thisdissertationpresentsadistributedcooperativestoragemechanism:CoStore.CoStoreconsolidatesdiskspaceofindividualnodeintoasinglestoragespoolandimplementsfilesharingandfaulttolerancethroughthecooperationofthenodesinwhich

10、anodeprovidesaswellassharesservice.CoStoreprovidesuserswithhighpoweredreliablestorageservicebynamespaceofmultipledirectorytreeandmechanismofredundantfragmentandparallelfiletransfer.2、ThisdissertationpresentsaP2Pbasedmass

11、ivestoragemechanism:GStore.GStoreconsolidateslargenumbersofnodesdistributedontheInternetintoasinglelogicnetworkandconstructsanInternetorienteddistributedmassivestoragesystemusinghighlyscalableP2Parchitecture.GStoreprovid