面向小文件的云存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、存儲(chǔ)是云計(jì)算的一塊基石。云計(jì)算環(huán)境下，存儲(chǔ)面臨著諸多挑戰(zhàn)，如海量數(shù)據(jù)要求系統(tǒng)容量足夠大、數(shù)據(jù)增加快要求系統(tǒng)有非常強(qiáng)的擴(kuò)展性、高可用性要求系統(tǒng)低延遲、熱點(diǎn)數(shù)據(jù)現(xiàn)象要求處理高并發(fā)請(qǐng)求等。特別是存儲(chǔ)小文件時(shí)，元數(shù)據(jù)請(qǐng)求數(shù)量將是存儲(chǔ)大文件時(shí)的成千上萬(wàn)倍。主從架構(gòu)系統(tǒng)中元數(shù)據(jù)服務(wù)器將成為系統(tǒng)擴(kuò)展的瓶頸。本文針對(duì)海量小文件的存儲(chǔ)，主要取得以下幾項(xiàng)研究成果:
　　(1)提出了一個(gè)基于P2P的面向小文件的云存儲(chǔ)架構(gòu)。創(chuàng)新地引進(jìn)了一個(gè)中心路由節(jié)點(diǎn)，

2、中心路由節(jié)點(diǎn)保存資源與節(jié)點(diǎn)的映射關(guān)系，使資源查詢(xún)平均跳數(shù)從0(log(n)）降到0(1)?？蛻?hù)端通過(guò)預(yù)取中心路由節(jié)點(diǎn)數(shù)據(jù)得到文件與機(jī)器的映射關(guān)系表，進(jìn)一步減少了一個(gè)網(wǎng)絡(luò)來(lái)回的時(shí)間開(kāi)銷(xiāo)。實(shí)驗(yàn)表明新架構(gòu)下，文件尺寸為1K～20K時(shí)讀取時(shí)間約是HadoopHDFS系統(tǒng)的1/(500～200);文件尺寸為160K～1M時(shí)讀取時(shí)間約是HadoopHDFS系統(tǒng)的1/(110～22);實(shí)驗(yàn)證明本系統(tǒng)讀寫(xiě)吞吐量峰值約為是TFS的1.5倍，系統(tǒng)擴(kuò)展性遠(yuǎn)優(yōu)

3、于TFS。
　　(2)由于系統(tǒng)的中心路由服務(wù)器存在單點(diǎn)故障問(wèn)題，為了增加系統(tǒng)的可用性，本文提出了一種基于Trie樹(shù)索引的快速構(gòu)造算法，該算法利用索引字符串的統(tǒng)計(jì)信息，跳過(guò)了串行構(gòu)造算法中的重復(fù)比較，實(shí)驗(yàn)表明快速算法時(shí)間優(yōu)于串行算法和Aoe的DAT算法;
　　(3)本文對(duì)類(lèi)GFS(GFS-like)架構(gòu)中元數(shù)據(jù)服務(wù)器進(jìn)行了“去中心化”的研究，將元數(shù)據(jù)從元數(shù)據(jù)服務(wù)器移動(dòng)到數(shù)據(jù)節(jié)點(diǎn)上，針對(duì)元數(shù)據(jù)和數(shù)據(jù)的一致性問(wèn)題，提出利用主數(shù)據(jù)節(jié)