基于對象分布式文件系統(tǒng)的存儲緩存研究.pdf

1、私用雹彳吁搬大予題碩士詳學位細摘論文要指導教師萬健教授杭州電子科技人學碩十學位論文詳細摘要隨著信息技術的發(fā)展，當今社會的數(shù)據(jù)信息量呈指數(shù)增長，很多存儲平臺的量級都上升為PB級別。作為海量數(shù)據(jù)存儲系統(tǒng)在用戶層上普遍使用的管理平臺一分布式文件系統(tǒng)已經日漸成熟，其可以以透明方式連接共享文件夾和文件服務器，將不同位置的文件數(shù)據(jù)映射到單一的邏輯層次，以達到用戶訪問和管理的便捷性，它的高效性、通用性、可靠性、擴展性也一直都是人們研究的熱點?；趯ο?/p>

2、分布式文件系統(tǒng)在海量存儲時表現(xiàn)出了更好的性能，越來越受到廣泛關注?，F(xiàn)如今在成型的基于對象分布式文件系統(tǒng)上，存儲集群對數(shù)據(jù)對象的部署往往都是單一層次分布的，它根據(jù)對象ID近似隨機的把存儲內容分布到各個基于對象存儲設備當中。其中，在每個存儲設備的智能化管理當中，已經擁有了利用系統(tǒng)內存緩存當臺存儲設備中熱點文件的緩存機制。但是，對于整個存儲集群來說，還缺少針對所有存儲數(shù)據(jù)的緩存機制。而對象文件系統(tǒng)也恰好因為沒有對訪問頻率比較高的熱點文件進行緩

3、存處理而存在問題，所以在基于對象分布式文件系統(tǒng)中對網絡緩存技術的引入有著重大的研究意義。在該研究領域中，網絡緩存按照其部署位置一般分為兩類進行研究：(1)把代理服務器部署在近客戶端，其負責分析與之相近的客戶端群的訪問特征而后進行緩存。(2)把代理服務器部署在近服務器端，其負責全部存儲數(shù)據(jù)的訪問特征而后對高頻訪問對象進行緩存。在基于對象分布式文件系統(tǒng)中，由于網絡緩存技術的適用性，代理服務器可以部署在客戶端、元數(shù)據(jù)服務器端和存儲集群端。而現(xiàn)

4、如今在海量存儲領域中，基于對象存儲文件系統(tǒng)的存儲集群的單一層次化管理在異構存儲環(huán)境下也會發(fā)生以上提到的問題。大部分基于對象文件系統(tǒng)都是把數(shù)據(jù)對象通過偽隨機函數(shù)近似隨機的平均分配到每臺存儲設備上，對于每個數(shù)據(jù)對象而言，分配到某臺存儲設備上的概率是一樣的。存儲在基于對象存儲設備中的數(shù)據(jù)內容往往是存儲系統(tǒng)中信息量最大的部分。對于數(shù)據(jù)內容的網絡傳輸速率快慢直接影響存儲系統(tǒng)的網絡開銷及其I／O性能。所以在異構存儲環(huán)境下，若元數(shù)據(jù)屬性中訪問頻率比較

5、高的熱點文件被隨機部署在性能較低或者傳輸延遲較高的對象存儲設備上，則會造成該高頻訪問的數(shù)據(jù)對象將會在系統(tǒng)中以低速率高時延處理。因此，研究基于對象分布式文件系統(tǒng)的網絡緩存技術有著重大的意義。本文在閱讀國內外的相關文獻基礎上，研究了基于對象分布式文件系統(tǒng)和網絡緩存的各個關鍵技術，針對當前基于對象分布式文件系統(tǒng)在異構存儲環(huán)境中對高頻訪問熱點文件無緩存機制的不足，設計并實現(xiàn)了一個基于對象分布式文件系統(tǒng)的存儲緩存系統(tǒng)，本文的主要工作總結如下：(1