面向現(xiàn)代服務(wù)業(yè)的大規(guī)模分布式文件存儲系統(tǒng)設(shè)計和實現(xiàn).pdf

1、隨著Internet技術(shù)的發(fā)展與深入應(yīng)用，互聯(lián)網(wǎng)上的信息量呈爆炸式增長，如何有效的存儲和管理這些數(shù)據(jù)成為專家學(xué)者們關(guān)注的焦點。到目前為止，對于分布式文件系統(tǒng)已經(jīng)展開了大量的研究工作，設(shè)計實現(xiàn)了一批基于Linux的文件服務(wù)器來存儲和管理這些數(shù)據(jù)。這些服務(wù)器通過高速的局域網(wǎng)絡(luò)相連接組成服務(wù)器集群，對外提供高效、穩(wěn)定的服務(wù)。 通過對國內(nèi)外比較優(yōu)秀的分布式文件系統(tǒng)進行學(xué)習(xí)和總結(jié)，結(jié)合國家支撐計劃現(xiàn)代服務(wù)業(yè)關(guān)鍵技術(shù)平臺項目，論文設(shè)計并實現(xiàn)

2、面向現(xiàn)代服務(wù)業(yè)服務(wù)基礎(chǔ)技術(shù)平臺的大規(guī)模分布式文件存儲系統(tǒng)。 文章首先從用戶需求、外部接口及系統(tǒng)性能和可靠性需求三個方面對系統(tǒng)需求進行了分析，在此基礎(chǔ)上提出了系統(tǒng)的總體架構(gòu)。系統(tǒng)主要由主服務(wù)器(MasterServer)、文件塊存儲服務(wù)器(Chunk Server)及客戶端(Client)三部分組成。Master Server主要負責(zé)對元數(shù)據(jù)進行管理，包括名字空間，文件到文件塊的映射，文件塊到Chunk Server的映射；Chu

3、nk Server負責(zé)管理文件塊的I/O操作，根據(jù)Master Server的指令對文件塊進行新建、刪除和復(fù)制等操作；Client為應(yīng)用端提供文件操作接口，包括文件的創(chuàng)建、追加、讀取及刪除操作。 然后介紹了分布式文件系統(tǒng)涉及到的關(guān)鍵技術(shù)--主要包括實現(xiàn)方案、緩存設(shè)計及負載均衡算法設(shè)計三個方面。根據(jù)實際應(yīng)用的需要，本系統(tǒng)采用共享文件系統(tǒng)的實現(xiàn)方案，在客戶端主存對數(shù)據(jù)進行緩存以及通過write-through算法保證緩存的一致性。

4、文章通過基于可配置權(quán)值的動態(tài)自適應(yīng)請求調(diào)度算法實現(xiàn)對客戶端請求和文件塊分配負載均衡以及基于最小發(fā)送請求數(shù)算法實現(xiàn)文件塊的Rebalance。最后對負載均衡算法進了測試分析。 接著詳細介紹了數(shù)據(jù)交互的總體架構(gòu)和具體流程，主要包括文件的創(chuàng)建、追加、讀取及刪除操作。為了保證數(shù)據(jù)的可用性和一致性，本文提出了文件塊拷貝、數(shù)據(jù)校驗以及垃圾回收等機制。 文章最后給出了系統(tǒng)原型實現(xiàn)類圖并對整體性能進行了測試。在系統(tǒng)實現(xiàn)部分，介紹了基于I