一種云存儲名字空間架構(gòu)的研究與設計.pdf

1、互聯(lián)網(wǎng)的發(fā)展引領(lǐng)IT領(lǐng)域進入到大數(shù)據(jù)時代。在這樣的背景下，海量數(shù)據(jù)呈現(xiàn)爆炸性增長，無論是個人還是企業(yè)，對廉價優(yōu)質(zhì)的海量存儲空間的需求都在與日俱增。一個云存儲系統(tǒng)的名字空間架構(gòu)設計好壞直接決定著一個系統(tǒng)的擴展能力、存儲空間、服務質(zhì)量和管理成本等?，F(xiàn)有的云存儲產(chǎn)品普遍使用構(gòu)建具有集中性質(zhì)的大規(guī)模數(shù)據(jù)中心來實現(xiàn)“云”的理念，但是在數(shù)據(jù)量過快增長的趨勢下也將面對管理復雜度增加、擴展受限制、成本過高且服務質(zhì)量下降等問題。
　　本文對目前各類

2、經(jīng)典的大規(guī)模數(shù)據(jù)存儲系統(tǒng)的名字空間進行了深入的學習和研究，發(fā)現(xiàn)易管理的系統(tǒng)普遍存在物理或邏輯主控結(jié)構(gòu)而擴展性受限的問題，而理論上擴展性良好的系統(tǒng)卻又因為維護成本過高而實用性不強。本文通過權(quán)衡各類方案的優(yōu)缺點，設計了一個可以自由伸縮、無限擴展、提供快速存儲和檢索文件服務的云存儲架構(gòu)。
　　為了以較低的成本充分整合互聯(lián)網(wǎng)上的存儲資源以獲得可無限擴展的透明存儲空間，本文的私有文件管理子層利用IPv6地址前綴自動聚類的性質(zhì)將分布廣泛、數(shù)目

3、較多的存儲單元聚合為獨立的子域，子域之間通過一致性哈希維護。用戶將文件就近存放在子域中可以獲得較小的網(wǎng)絡延時;每個獨立子域之間的文件存儲并行執(zhí)行，可以有效提高系統(tǒng)吞吐量。為了對海量的私有文件管理子層中的文件提供高效索引，本文中的共享文件管理子層設計了一種分布式多維索引LSH-K-D Forest。該索引首先通過基于地址敏感哈希LSH的方法對海量數(shù)據(jù)的文件名相似度分類成Bucket，然后再對Bucket按文件屬性構(gòu)建多維索引進一步劃分Bu