面向小文件的云存儲系統(tǒng)關(guān)鍵技術(shù)研究與實現(xiàn).pdf

1、存儲是云計算的一塊基石。云計算環(huán)境下，存儲面臨著諸多挑戰(zhàn)，如海量數(shù)據(jù)要求系統(tǒng)容量足夠大、數(shù)據(jù)增加快要求系統(tǒng)有非常強的擴展性、高可用性要求系統(tǒng)低延遲、熱點數(shù)據(jù)現(xiàn)象要求處理高并發(fā)請求等。特別是存儲小文件時，元數(shù)據(jù)請求數(shù)量將是存儲大文件時的成千上萬倍。主從架構(gòu)系統(tǒng)中元數(shù)據(jù)服務器將成為系統(tǒng)擴展的瓶頸。本文針對海量小文件的存儲，主要取得以下幾項研究成果:
　　(1)提出了一個基于P2P的面向小文件的云存儲架構(gòu)。創(chuàng)新地引進了一個中心路由節(jié)點，

2、中心路由節(jié)點保存資源與節(jié)點的映射關(guān)系，使資源查詢平均跳數(shù)從0(log(n)）降到0(1)?？蛻舳送ㄟ^預取中心路由節(jié)點數(shù)據(jù)得到文件與機器的映射關(guān)系表，進一步減少了一個網(wǎng)絡來回的時間開銷。實驗表明新架構(gòu)下，文件尺寸為1K～20K時讀取時間約是HadoopHDFS系統(tǒng)的1/(500～200);文件尺寸為160K～1M時讀取時間約是HadoopHDFS系統(tǒng)的1/(110～22);實驗證明本系統(tǒng)讀寫吞吐量峰值約為是TFS的1.5倍，系統(tǒng)擴展性遠優(yōu)

3、于TFS。
　　(2)由于系統(tǒng)的中心路由服務器存在單點故障問題，為了增加系統(tǒng)的可用性，本文提出了一種基于Trie樹索引的快速構(gòu)造算法，該算法利用索引字符串的統(tǒng)計信息，跳過了串行構(gòu)造算法中的重復比較，實驗表明快速算法時間優(yōu)于串行算法和Aoe的DAT算法;
　　(3)本文對類GFS(GFS-like)架構(gòu)中元數(shù)據(jù)服務器進行了“去中心化”的研究，將元數(shù)據(jù)從元數(shù)據(jù)服務器移動到數(shù)據(jù)節(jié)點上，針對元數(shù)據(jù)和數(shù)據(jù)的一致性問題，提出利用主數(shù)據(jù)節(jié)