元數(shù)據(jù)服務(wù)器集群負載均衡技術(shù)的研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展，全球信息存儲量正在以57％的復(fù)合年增長率膨脹。大量數(shù)據(jù)密集型應(yīng)用對現(xiàn)有的網(wǎng)絡(luò)存儲架構(gòu)提出了更高的要求。對象存儲技術(shù)同時具備傳統(tǒng)SAN快速訪問的特點和NAS跨平臺數(shù)據(jù)共享和強安全性的優(yōu)勢。同時對象存儲設(shè)備本身具備的智能管理功能。因此，對象存儲系統(tǒng)具有高性能、可擴展、高可用性和強安全性等特點，是未來網(wǎng)絡(luò)存儲的發(fā)展方向。元數(shù)據(jù)服務(wù)器(MetaData Server，MDS)是對象存儲系統(tǒng)的重要組成部分，在對象存儲系統(tǒng)中

2、的主要功能包括：管理文件系統(tǒng)名字空間、文件/目錄和對象物理存儲位置之間的映射、用戶訪問控制等。因此，MDS集群的處理能力是整個對象存儲系統(tǒng)高效運作的重要一環(huán)。
　　本文分析了當(dāng)前主流網(wǎng)絡(luò)存儲架構(gòu)中元數(shù)據(jù)服務(wù)器集群的負載均衡方案。針對元數(shù)據(jù)服務(wù)器性能異構(gòu)造成的集群負載不均衡問題，本文提出了一種基于權(quán)重的元數(shù)據(jù)服務(wù)器集群負載均衡策略(Weight-based Metadata Server Cluster Load Balancing

3、 Strategy，WLBS)，并對其在Ceph框架中進行實現(xiàn)。本文的主要研究和開發(fā)內(nèi)容包括以下四個方面：
　　(1)在分析對象存儲與傳統(tǒng)網(wǎng)絡(luò)存儲技術(shù)的基礎(chǔ)上，總結(jié)了MDS負載均衡技術(shù)所涉及的包括元數(shù)據(jù)分區(qū)和服務(wù)器熱點評價兩個關(guān)鍵問題；
　　(2)提出了元數(shù)據(jù)服務(wù)器熱點評測模型，主要解決準(zhǔn)確獲取服務(wù)負載狀況的問題。該模型在傳統(tǒng)計數(shù)法的基礎(chǔ)上增加了對MDS性能值的考慮，提出了基于操作時延的MDS性能模型。該性能模型避免了傳統(tǒng)“

4、白盒”性能模型量化資源影響力的難題，準(zhǔn)確評估服務(wù)器的當(dāng)前性能值；
　　(3)提出了一種基于權(quán)重負載均衡策略，主要解決MDS性能異構(gòu)情況下的負載均衡問題。該策略根據(jù)(2)中熱點評測模型獲取節(jié)點當(dāng)前的負載狀況，并計算出集群的平均負載水平。為了實現(xiàn)負載與性能相對應(yīng)的目標(biāo)，高于平均負載水平的MDS會主動以目錄子樹遷移方式進行負載遷移，將一部分目錄子樹遷移到低于平均負載水平的MDS，最終實現(xiàn)異構(gòu)MDS集群的負載均衡；
　　(4)搭建實