網(wǎng)格環(huán)境下分布式文件系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、今時今日,網(wǎng)格技術(shù)已經(jīng)不再把自己局限在高性能計算的范疇中,而是通過向網(wǎng)絡(luò)服務(wù)靠攏,建立起一套面向服務(wù)的體系架構(gòu)。相應(yīng)于此,網(wǎng)格中的數(shù)據(jù)模塊也不再是一個提供資源的底層支持模塊,而逐漸向一個功能獨立的,相對自治的分布式文件系統(tǒng)發(fā)展。本文的目的在于構(gòu)造一種網(wǎng)格環(huán)境下的分布式文件系統(tǒng)。在結(jié)構(gòu)上它相當于中國教育科研網(wǎng)格底層支撐平臺的數(shù)據(jù)模塊部分,為CGSP其他功能模塊提供持久的數(shù)據(jù)存儲功能以及穩(wěn)定而高效的數(shù)據(jù)傳輸服務(wù)。另一方面,這個系統(tǒng)也可以獨立

2、運行,網(wǎng)格終端用戶可以通過它建立自己的數(shù)據(jù)空間。傳統(tǒng)的分布式文件系統(tǒng)往往是緊耦合的、基于文件級別應(yīng)用副本策略的。這些系統(tǒng)雖然性能出眾、但往往是應(yīng)對專門系統(tǒng)設(shè)計,通用性不強。而過去基于Web的分布式文件系統(tǒng)往往性能低下、存儲能力弱、傳輸效率低。為了滿足網(wǎng)格環(huán)境下海量數(shù)據(jù)密集型應(yīng)用的需求以及面向服務(wù)的框架,我們設(shè)計并實現(xiàn)了一個基于分片的、松耦合的分布式文件系統(tǒng),它包括底層存儲資源集合、存儲資源管理模塊、元數(shù)據(jù)管理模塊、副本管理模塊、數(shù)據(jù)傳輸

3、管理模塊、信息監(jiān)控模塊、策略分析模塊以及虛擬文件視圖終端等部件。本文設(shè)計并實現(xiàn)的系統(tǒng)具有以下的特點和優(yōu)勢:穩(wěn)定性:通過副本管理模塊調(diào)整系統(tǒng)中文件合理的冗余度,對”零副本危機”進行預(yù)測并予以避免。策略分析模塊會在存儲資源選擇時挑選健壯性最佳的數(shù)據(jù)節(jié)點進行存儲;高效性:在傳輸中使用GridFTP帶狀并行傳輸,同時提高服務(wù)器端和客戶端的帶寬利用率。策略分析模塊會在構(gòu)造傳輸計劃時挑選最近、當前可用帶寬最大的節(jié)點進行傳輸;通用性:通過使用網(wǎng)絡(luò)服務(wù)