并行文件系統(tǒng)數(shù)據(jù)訪問的負載平衡.pdf

1、為了有效地在并行文件系統(tǒng)中實現(xiàn)數(shù)據(jù)訪問的負載平衡，本文以PVFS為例,采用數(shù)據(jù)遷移與副本相結(jié)合的機制。該機制在PVFS中增加一些模塊，在各個IOD(I/O節(jié)點)上統(tǒng)計得到負載信息，MGR(管理節(jié)點)每隔一段時間向所有的IOD發(fā)請求，要求把負載信息傳遞上來。檢測哪些磁盤的熱度比較高，找出這個磁盤上的熱點。為提高遷移的收益，選擇遷移的熱點應(yīng)該是那些使遷移收益/代價最高的數(shù)據(jù)文件，將這些熱點遷移到熱度比較低的磁盤上去，使負載趨于平衡。系統(tǒng)實

2、現(xiàn)的模塊主要有：負載平衡的元數(shù)據(jù)管理，負載信息的統(tǒng)計，負載信息的收集，負載平衡的計算，負載的遷移。通過對PVFS做負載平衡，性能有一定的提高。但是有些數(shù)據(jù)的熱度很大，遷移到哪兒都會引起這個磁盤的熱度上升很多，引起新的負載不平衡的現(xiàn)象產(chǎn)生，這時，遷移機制就失效了。為解決這一問題，當這樣的高熱點出現(xiàn)時可以采用副本的方法。選擇當前經(jīng)過統(tǒng)計為最冷的磁盤做副本。當讀熱點文件時，由于熱點文件已經(jīng)做了幾個副本，隨機選擇一個副本進行讀操作。副本必須維