分布式文件系統(tǒng)元數(shù)據(jù)管理技術(shù)研究與實(shí)現(xiàn).pdf

1、分布式文件系統(tǒng)通過(guò)將多臺(tái)機(jī)器的資源組織起來(lái)，對(duì)外提供統(tǒng)一的、大容量、高性能、高可靠，易擴(kuò)展的文件服務(wù)，滿(mǎn)足了大規(guī)模應(yīng)用的要求，是目前存儲(chǔ)領(lǐng)域研究的重點(diǎn)和難點(diǎn)。針對(duì)文件系統(tǒng)中元數(shù)據(jù)和文件數(shù)據(jù)存儲(chǔ)和訪問(wèn)的不同特點(diǎn)，分布式文件系統(tǒng)通常包括數(shù)據(jù)存儲(chǔ)系統(tǒng)和元數(shù)據(jù)管理系統(tǒng)。為應(yīng)對(duì)大量的元數(shù)據(jù)操作請(qǐng)求，保障元數(shù)據(jù)操作的一致性和可靠性，元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)極其重要。本文設(shè)計(jì)并實(shí)現(xiàn)了分布式文件系統(tǒng)LandFile的元數(shù)據(jù)管理系統(tǒng)，研究了分布式文件系

2、統(tǒng)元數(shù)據(jù)管理的關(guān)鍵問(wèn)題以及解決策略，具體內(nèi)容如下：
　　 研究了面向節(jié)能的元數(shù)據(jù)服務(wù)器集群的負(fù)載調(diào)度策略：大規(guī)模應(yīng)用中，能源問(wèn)題越來(lái)越成為人們關(guān)注的焦點(diǎn)。本文在動(dòng)態(tài)元數(shù)據(jù)管理策略的基礎(chǔ)上，提出了一種面向節(jié)能的負(fù)載調(diào)度策略，通過(guò)在負(fù)載較低時(shí)，主動(dòng)關(guān)閉元數(shù)據(jù)服務(wù)器集中負(fù)載，達(dá)到整體節(jié)能的目的。隨著負(fù)載的增加，再逐步打開(kāi)元數(shù)據(jù)服務(wù)器對(duì)外提供服務(wù)。良好設(shè)計(jì)的動(dòng)態(tài)元數(shù)據(jù)管理策略保證了服務(wù)器加入和退出時(shí)的平滑擴(kuò)展。實(shí)驗(yàn)表明面向節(jié)能的負(fù)載調(diào)度

3、策略在負(fù)載低谷時(shí)，節(jié)能效果非常明顯，對(duì)系統(tǒng)性能亦影響較小。
　　 研究了元數(shù)據(jù)管理的一致性保障策略：分布式條件下元數(shù)據(jù)可能存在多個(gè)副本，許多元數(shù)據(jù)請(qǐng)求可能涉及多臺(tái)元數(shù)據(jù)服務(wù)器，本文設(shè)計(jì)了基于主節(jié)點(diǎn)的元數(shù)據(jù)緩存架構(gòu)，實(shí)現(xiàn)了多副本元數(shù)據(jù)的更新策略，針對(duì)分布式操作，設(shè)計(jì)并實(shí)現(xiàn)了基于兩階段提交的協(xié)議來(lái)保證其一致性。
　　 研究了元數(shù)據(jù)管理的可靠性保障策略：本文研究了元數(shù)據(jù)服務(wù)器的節(jié)點(diǎn)管理、故障檢測(cè)以及故障恢復(fù)機(jī)制，實(shí)現(xiàn)了區(qū)域自治

4、的節(jié)點(diǎn)管理方法和基于日志的可靠性保障策略，保證了元數(shù)據(jù)服務(wù)器單點(diǎn)失效時(shí)，能夠被快速替換和恢復(fù)，失效時(shí)系統(tǒng)仍能無(wú)間斷的提供服務(wù)。
　　 利用上述研究的負(fù)載調(diào)度策略，一致性保障策略與可靠性保障策略，設(shè)計(jì)并實(shí)現(xiàn)了元數(shù)據(jù)管理系統(tǒng)，包括元數(shù)據(jù)請(qǐng)求處理和可靠性模塊，改進(jìn)了負(fù)載調(diào)度模塊。
　　 所研究實(shí)現(xiàn)的元數(shù)據(jù)管理子系統(tǒng)，是863課題“新一代業(yè)務(wù)運(yùn)行管控協(xié)同支撐環(huán)境的開(kāi)發(fā)(2008AA01A317)”中分布式文件系統(tǒng)LandFile