分布式文件系統(tǒng)名字空間管理.pdf

1、隨著互聯(lián)網(wǎng)的普及以及移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展,人類每年產(chǎn)生的數(shù)據(jù)越來(lái)越多,據(jù)統(tǒng)計(jì)全球數(shù)據(jù)信息每年的增長(zhǎng)率到達(dá)了每年30％以上?，F(xiàn)在,人類每天產(chǎn)生的數(shù)據(jù)要以PB來(lái)計(jì)算,數(shù)據(jù)類型從微博、照片、博客、日志等各式各樣。近幾年增長(zhǎng)的數(shù)據(jù)要更快,這些新增的數(shù)據(jù)有相當(dāng)一部分需要被持久化存儲(chǔ)到硬盤上。單機(jī)文件系統(tǒng)如ext3、ext4以及網(wǎng)絡(luò)文件系統(tǒng)文件系統(tǒng)(NFS),遠(yuǎn)遠(yuǎn)不能滿足實(shí)際存儲(chǔ)需求。這個(gè)時(shí)候分布式文件系統(tǒng)應(yīng)運(yùn)而生,可以存儲(chǔ)幾十到幾百PB的數(shù)據(jù)。分

2、布式文件系統(tǒng)基本上采用的都是典型的三方架構(gòu),即由元數(shù)據(jù)服務(wù)器(name server),數(shù)據(jù)服務(wù)器(data server)和客戶端(client)組成。元數(shù)據(jù)服務(wù)器存儲(chǔ)著整個(gè)系統(tǒng)的元數(shù)據(jù)信息,是最關(guān)鍵和復(fù)雜的部分,面臨C10K、C100K問(wèn)題。如何設(shè)計(jì)一個(gè)高效穩(wěn)定的元數(shù)據(jù)服務(wù)器對(duì)于一個(gè)分布式文件系統(tǒng)來(lái)說(shuō)至關(guān)重要。
　　本課題設(shè)計(jì)并實(shí)現(xiàn)了分布式文件系統(tǒng)RaccoonFS的元數(shù)據(jù)服務(wù)器,研究并解決了分布式文件系統(tǒng)名字空間的由于鎖競(jìng)爭(zhēng)

3、帶來(lái)響應(yīng)速度低下的問(wèn)題,提出了一種新的名字空間管理方法:元數(shù)據(jù)服務(wù)器在處理數(shù)以萬(wàn)計(jì)的客戶端連接時(shí),往往出現(xiàn)效率低下甚至完全癱瘓,怎么提升元數(shù)據(jù)服務(wù)器在高并發(fā)讀寫下的性能成為了一個(gè)非常重要的設(shè)計(jì)內(nèi)容。RaccoonFS采用了B+樹的方式來(lái)管理名字空間,并且在B+樹上實(shí)現(xiàn)了寫時(shí)拷貝(Copy on Write)和多版本并發(fā)控制(Multi Version Concurrency Control),從而達(dá)到讀寫分離、寫寫并發(fā),極大的提高了讀寫

4、的性能,規(guī)避了對(duì)B+樹讀寫操作上鎖帶來(lái)的性能開銷。
　　在測(cè)試部分,論文選取了三組測(cè)試對(duì)象:HDFS(Hadoop Distribute File System)名字空間管理方法、實(shí)現(xiàn)了COW的B+樹名字空間管理方法、實(shí)現(xiàn)了COW和MVCC的B+樹名字空間管理方法。實(shí)驗(yàn)結(jié)果表明實(shí)現(xiàn)了COW的B+樹管理方法在讀寫的響應(yīng)速度方面較HDFS名字空間管理方法有了30%以上的提高,實(shí)現(xiàn)了COW和MVCC的B+樹名字空間管理方法在寫響應(yīng)速度方