分布式結(jié)構(gòu)化存儲系統(tǒng)元數(shù)據(jù)管理模塊設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在大數(shù)據(jù)時(shí)代,數(shù)據(jù)存儲提出了許多新的需求,傳統(tǒng)的基于關(guān)系的數(shù)據(jù)庫存儲系統(tǒng)已經(jīng)不能滿足這些需求。本文在研究和分析了現(xiàn)有的典型結(jié)構(gòu)化存儲系統(tǒng)的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向 POI的,具有高可靠性的分布式結(jié)構(gòu)化存儲系統(tǒng)CBase。在CBase存儲系統(tǒng)中,POI信息被分布式存儲在不同的存儲節(jié)點(diǎn)上,元數(shù)據(jù)信息指的是 POI信息到存儲節(jié)點(diǎn)的映射關(guān)系。元數(shù)據(jù)管理模塊是 CBase存儲系統(tǒng)中的一個(gè)模塊,主要功能是管理 CBase存儲系統(tǒng)的元數(shù)據(jù)信息,是

2、本人在項(xiàng)目中的主要負(fù)責(zé)的模塊。元數(shù)據(jù)管理模塊的主要工作和特色如下:
　　1.元數(shù)據(jù)管理的優(yōu)化。設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于R-tree的元數(shù)據(jù)管理模塊,采用寫入操作日志的方式,把對元數(shù)據(jù)操作時(shí)可能產(chǎn)生的大量隨機(jī) I/O轉(zhuǎn)化為順序I/O,提高系統(tǒng)的吞吐率;
　　2.元數(shù)據(jù)的容錯(cuò)性設(shè)計(jì)。為了保證元數(shù)據(jù)的可靠性,實(shí)現(xiàn)了一個(gè)基于 Paxos算法的一致性協(xié)議,對元數(shù)據(jù)副本進(jìn)行同步,并針對基本Paxos算法的缺點(diǎn),設(shè)計(jì)了Leader租約機(jī)制,大