大規(guī)模機群文件系統(tǒng)的關鍵技術研究.pdf

1、機群結(jié)構(gòu)已成為高性能計算機的主流結(jié)構(gòu)。隨著CPU處理能力和通信速度的迅速提高，I／O成為制約機群應用實際性能的瓶頸。機群文件系統(tǒng)作為解決機群I／O瓶頸的核心技術，其研究具有重要的意義。 機群文件系統(tǒng)的發(fā)展趨勢為：第一，元數(shù)據(jù)處理與文件I／O分離；第二，利用大規(guī)模網(wǎng)絡存儲系統(tǒng)來提供多條數(shù)據(jù)I／O通路；第三，利用一組元數(shù)據(jù)服務器來提供多條元數(shù)據(jù)I／O通路。 針對這種結(jié)構(gòu)的機群文件系統(tǒng)，我們研究了其中的幾個關鍵問題，包括元數(shù)據(jù)

2、的分布問題，元數(shù)據(jù)的一致性和快速故障恢復問題，以及PB級機群文件系統(tǒng)的相關問題。本文的主要貢獻在于： (1)提出一種高效的大存儲空間的管理策略——Bitmap-Extent混合策略。針對PB級機群文件系統(tǒng)，打破了傳統(tǒng)文件系統(tǒng)基于一個塊設備的限制，提出將機群文件系統(tǒng)與物理存儲分離的一種邏輯空間策略，從而解決了文件系統(tǒng)容量受限問題和存儲擴展問題等；而且針對PB級存儲空間管理，提出一種基于位圖與extent鏈表相結(jié)合的大規(guī)模存儲空間管

3、理機制，以提高存儲空間的管理效率。 (2)提出一種基于粒度的動態(tài)元數(shù)據(jù)分布策略。元數(shù)據(jù)分布問題是決定非集中式元數(shù)據(jù)處理性能的關鍵問題。我們提出的基于粒度的動態(tài)元數(shù)據(jù)分布策略以提高元數(shù)據(jù)處理整體性能為目標，綜合考慮元數(shù)據(jù)分布均衡度和文件系統(tǒng)層次結(jié)構(gòu)關系兩個因素對元數(shù)據(jù)處理整體性能的影響，按照一定粒度來劃分名字空間和分布元數(shù)據(jù)，實驗結(jié)果表明在模擬真實環(huán)境的負載下它的性能高于動態(tài)隨機分布策略和動態(tài)根子樹分布策略。 (3)提出一

4、種基于簡化的兩階段提交協(xié)議的、故障后可快速恢復元數(shù)據(jù)一致性的分布式元數(shù)據(jù)處理協(xié)議。元數(shù)據(jù)一致性問題是影響分布式元數(shù)據(jù)管理的可靠性和高可用性的關鍵問題。為了解決元數(shù)據(jù)服務器之間的元數(shù)據(jù)一致性問題，我們將兩階段提交協(xié)議與元數(shù)據(jù)的處理協(xié)議結(jié)合起來，提出一種基于簡化的兩階段提交協(xié)議的分布式元數(shù)據(jù)處理協(xié)議，在元數(shù)據(jù)服務器失效或客戶節(jié)點失效時，能夠快速恢復文件系統(tǒng)的元數(shù)據(jù)一致性，保證文件系統(tǒng)的可用性。 (4)設計和實現(xiàn)了面向多用戶多任務環(huán)境