分布式文件系統(tǒng)名字空間管理.pdf

1、隨著互聯(lián)網(wǎng)的普及以及移動互聯(lián)網(wǎng)的快速發(fā)展,人類每年產(chǎn)生的數(shù)據(jù)越來越多,據(jù)統(tǒng)計全球數(shù)據(jù)信息每年的增長率到達(dá)了每年30％以上。現(xiàn)在,人類每天產(chǎn)生的數(shù)據(jù)要以PB來計算,數(shù)據(jù)類型從微博、照片、博客、日志等各式各樣。近幾年增長的數(shù)據(jù)要更快,這些新增的數(shù)據(jù)有相當(dāng)一部分需要被持久化存儲到硬盤上。單機(jī)文件系統(tǒng)如ext3、ext4以及網(wǎng)絡(luò)文件系統(tǒng)文件系統(tǒng)(NFS),遠(yuǎn)遠(yuǎn)不能滿足實際存儲需求。這個時候分布式文件系統(tǒng)應(yīng)運而生,可以存儲幾十到幾百PB的數(shù)據(jù)。分

2、布式文件系統(tǒng)基本上采用的都是典型的三方架構(gòu),即由元數(shù)據(jù)服務(wù)器(name server),數(shù)據(jù)服務(wù)器(data server)和客戶端(client)組成。元數(shù)據(jù)服務(wù)器存儲著整個系統(tǒng)的元數(shù)據(jù)信息,是最關(guān)鍵和復(fù)雜的部分,面臨C10K、C100K問題。如何設(shè)計一個高效穩(wěn)定的元數(shù)據(jù)服務(wù)器對于一個分布式文件系統(tǒng)來說至關(guān)重要。
　　本課題設(shè)計并實現(xiàn)了分布式文件系統(tǒng)RaccoonFS的元數(shù)據(jù)服務(wù)器,研究并解決了分布式文件系統(tǒng)名字空間的由于鎖競爭

3、帶來響應(yīng)速度低下的問題,提出了一種新的名字空間管理方法:元數(shù)據(jù)服務(wù)器在處理數(shù)以萬計的客戶端連接時,往往出現(xiàn)效率低下甚至完全癱瘓,怎么提升元數(shù)據(jù)服務(wù)器在高并發(fā)讀寫下的性能成為了一個非常重要的設(shè)計內(nèi)容。RaccoonFS采用了B+樹的方式來管理名字空間,并且在B+樹上實現(xiàn)了寫時拷貝(Copy on Write)和多版本并發(fā)控制(Multi Version Concurrency Control),從而達(dá)到讀寫分離、寫寫并發(fā),極大的提高了讀寫

4、的性能,規(guī)避了對B+樹讀寫操作上鎖帶來的性能開銷。
　　在測試部分,論文選取了三組測試對象:HDFS(Hadoop Distribute File System)名字空間管理方法、實現(xiàn)了COW的B+樹名字空間管理方法、實現(xiàn)了COW和MVCC的B+樹名字空間管理方法。實驗結(jié)果表明實現(xiàn)了COW的B+樹管理方法在讀寫的響應(yīng)速度方面較HDFS名字空間管理方法有了30%以上的提高,實現(xiàn)了COW和MVCC的B+樹名字空間管理方法在寫響應(yīng)速度方