云存儲中元數(shù)據(jù)管理關(guān)鍵技術(shù)的研究與實現(xiàn).pdf

1、云存儲已經(jīng)得到越來越廣泛的應(yīng)用,而它的構(gòu)建離不開分布式文件系統(tǒng)的支持。當前主流的分布式文件系統(tǒng)都是把元數(shù)據(jù)和數(shù)據(jù)分離開來進行管理,元數(shù)據(jù)被單獨保存在元數(shù)據(jù)服務(wù)器節(jié)點上,而文件數(shù)據(jù)存放在數(shù)據(jù)存儲節(jié)點中。顯然,元數(shù)據(jù)節(jié)點的性能關(guān)系到整個存儲系統(tǒng)的性能。
　　本文首先對云存儲底層支撐中的分布式文件系統(tǒng)的關(guān)鍵架構(gòu)技術(shù)進行了研究,發(fā)現(xiàn)很多主流分布式文件系統(tǒng)使用單個節(jié)點來管理系統(tǒng)中的元數(shù)據(jù),這種架構(gòu)在面對云存儲的海量數(shù)據(jù)環(huán)境下,很容易因為節(jié)點

2、自身的內(nèi)存以及某些熱點數(shù)據(jù)和網(wǎng)絡(luò)帶寬等給整個系統(tǒng)帶來性能瓶頸。然后,本文分析了元數(shù)據(jù)管理策略的特性和主要技術(shù),針對元數(shù)據(jù)管理的關(guān)鍵問題展開了深入研究。
　　研究中發(fā)現(xiàn),目前大部分元數(shù)據(jù)管理策略存在一些不足:
　　(1)當文件重命名和目錄修改時需要遷移大量元數(shù)據(jù),從而造成大量網(wǎng)絡(luò)開銷。
　　(2)由于大量客戶在同一時間集中訪問某一元數(shù)據(jù),而使集中式的單元數(shù)據(jù)服務(wù)器(Metadata Server, MDS)成為訪問“熱點

3、”,從而造成負載失衡,影響系統(tǒng)的性能。元數(shù)據(jù)緩存可有效減少MDS與數(shù)據(jù)庫服務(wù)器之間的交互,從而減少系統(tǒng)響應(yīng)時間,提高系統(tǒng)性能。
　　針對上述問題,本文借鑒當前主流分布式文件系統(tǒng)的設(shè)計理念,提出了一種適合云存儲環(huán)境的元數(shù)據(jù)管理方案。主要包含以下幾點:
　　(1)用分布式的元數(shù)據(jù)服務(wù)器集群來代替單一的元數(shù)據(jù)服務(wù)器。
　　(2)使用基于偽隨機序列的分布算法,并以目錄為粒度來分布元數(shù)據(jù)。
　　(3)把元數(shù)據(jù)緩存技術(shù)引入元

4、數(shù)據(jù)管理中,并提出了元數(shù)據(jù)保留值的概念,根據(jù)云存儲環(huán)境中元數(shù)據(jù)的訪問特性設(shè)計了計算元數(shù)據(jù)緩存保留值的規(guī)則,給出了基于保留值的緩存替換算法和緩存寫回算法。
　　通過仿真實驗,發(fā)現(xiàn)本文提出的偽隨機分布算法能使元數(shù)據(jù)分布的均衡性顯著提高,并能從統(tǒng)計意義上保證遷移的數(shù)據(jù)量最優(yōu),算法的執(zhí)行效率也非常可觀。
　　而本文提出的基于保留值的緩存替換算法與傳統(tǒng)典型替換算法相比,不僅更能提高緩存命中率,還更具備穩(wěn)定性和靈活性,從而使云存儲中元數(shù)