分布式文件系統(tǒng)元數(shù)據(jù)管理技術(shù)研究與實現(xiàn).pdf

1、分布式文件系統(tǒng)通過將多臺機器的資源組織起來，對外提供統(tǒng)一的、大容量、高性能、高可靠，易擴展的文件服務(wù)，滿足了大規(guī)模應(yīng)用的要求，是目前存儲領(lǐng)域研究的重點和難點。針對文件系統(tǒng)中元數(shù)據(jù)和文件數(shù)據(jù)存儲和訪問的不同特點，分布式文件系統(tǒng)通常包括數(shù)據(jù)存儲系統(tǒng)和元數(shù)據(jù)管理系統(tǒng)。為應(yīng)對大量的元數(shù)據(jù)操作請求，保障元數(shù)據(jù)操作的一致性和可靠性，元數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)極其重要。本文設(shè)計并實現(xiàn)了分布式文件系統(tǒng)LandFile的元數(shù)據(jù)管理系統(tǒng)，研究了分布式文件系

2、統(tǒng)元數(shù)據(jù)管理的關(guān)鍵問題以及解決策略，具體內(nèi)容如下：
　　 研究了面向節(jié)能的元數(shù)據(jù)服務(wù)器集群的負(fù)載調(diào)度策略：大規(guī)模應(yīng)用中，能源問題越來越成為人們關(guān)注的焦點。本文在動態(tài)元數(shù)據(jù)管理策略的基礎(chǔ)上，提出了一種面向節(jié)能的負(fù)載調(diào)度策略，通過在負(fù)載較低時，主動關(guān)閉元數(shù)據(jù)服務(wù)器集中負(fù)載，達(dá)到整體節(jié)能的目的。隨著負(fù)載的增加，再逐步打開元數(shù)據(jù)服務(wù)器對外提供服務(wù)。良好設(shè)計的動態(tài)元數(shù)據(jù)管理策略保證了服務(wù)器加入和退出時的平滑擴展。實驗表明面向節(jié)能的負(fù)載調(diào)度

3、策略在負(fù)載低谷時，節(jié)能效果非常明顯，對系統(tǒng)性能亦影響較小。
　　 研究了元數(shù)據(jù)管理的一致性保障策略：分布式條件下元數(shù)據(jù)可能存在多個副本，許多元數(shù)據(jù)請求可能涉及多臺元數(shù)據(jù)服務(wù)器，本文設(shè)計了基于主節(jié)點的元數(shù)據(jù)緩存架構(gòu)，實現(xiàn)了多副本元數(shù)據(jù)的更新策略，針對分布式操作，設(shè)計并實現(xiàn)了基于兩階段提交的協(xié)議來保證其一致性。
　　 研究了元數(shù)據(jù)管理的可靠性保障策略：本文研究了元數(shù)據(jù)服務(wù)器的節(jié)點管理、故障檢測以及故障恢復(fù)機制，實現(xiàn)了區(qū)域自治

4、的節(jié)點管理方法和基于日志的可靠性保障策略，保證了元數(shù)據(jù)服務(wù)器單點失效時，能夠被快速替換和恢復(fù)，失效時系統(tǒng)仍能無間斷的提供服務(wù)。
　　 利用上述研究的負(fù)載調(diào)度策略，一致性保障策略與可靠性保障策略，設(shè)計并實現(xiàn)了元數(shù)據(jù)管理系統(tǒng)，包括元數(shù)據(jù)請求處理和可靠性模塊，改進(jìn)了負(fù)載調(diào)度模塊。
　　 所研究實現(xiàn)的元數(shù)據(jù)管理子系統(tǒng)，是863課題“新一代業(yè)務(wù)運行管控協(xié)同支撐環(huán)境的開發(fā)(2008AA01A317)”中分布式文件系統(tǒng)LandFile