高擴(kuò)展性的海量存儲(chǔ)文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)規(guī)模增長(zhǎng)迅速，數(shù)據(jù)的應(yīng)用模式也越來(lái)越多樣，這自然給存儲(chǔ)系統(tǒng)的發(fā)展帶來(lái)了新的機(jī)遇和挑戰(zhàn)。采用縱向擴(kuò)展模式來(lái)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行擴(kuò)容的傳統(tǒng)方法，已經(jīng)越來(lái)越無(wú)法滿足具體應(yīng)用在存儲(chǔ)規(guī)模、并發(fā)性能與成本等方面的要求；而通過(guò)良好的分布式調(diào)度策略來(lái)集成大量商品機(jī)器的橫向擴(kuò)展模式卻能取得奇效。
　　碧海文件系統(tǒng)正是采用橫向擴(kuò)展模式的大規(guī)模分布式文件系統(tǒng)，它能良好的作為Hadoop之類的批處理框架的底層存儲(chǔ)堆棧，然而當(dāng)它應(yīng)用于通

2、用存儲(chǔ)環(huán)境時(shí)，卻存在著擴(kuò)展性、可用性和并發(fā)性的不足，而其中擴(kuò)展性不足的問(wèn)題更是阻礙了碧海文件系統(tǒng)的發(fā)展。這些不足大都來(lái)源于元數(shù)據(jù)節(jié)點(diǎn)的單點(diǎn)架構(gòu)，因而本課題嘗試著使用分布式元數(shù)據(jù)節(jié)點(diǎn)的方式來(lái)解決上述不足。
　　具體的工作內(nèi)容為：對(duì)目錄樹(shù)進(jìn)行子樹(shù)分割，從而將元數(shù)據(jù)布局在不同的節(jié)點(diǎn)之上；設(shè)計(jì)了監(jiān)控節(jié)點(diǎn)，監(jiān)控節(jié)點(diǎn)能夠仲裁元數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)，收集并分發(fā)子樹(shù)信息，以及增減元數(shù)據(jù)節(jié)點(diǎn)集群的規(guī)模；優(yōu)化了數(shù)據(jù)節(jié)點(diǎn)與元數(shù)據(jù)節(jié)點(diǎn)的通信模型，避免了重命名操