并行網(wǎng)絡(luò)文件系統(tǒng)中負(fù)載均衡機(jī)制的研究與實(shí)現(xiàn).pdf

1、負(fù)載均衡技術(shù)是并行文件系統(tǒng)中常見(jiàn)且不可或缺的重要優(yōu)化手段。在并行文件系統(tǒng)中實(shí)現(xiàn)副本技術(shù),利用負(fù)載分析方法和調(diào)度算法,可以有效地將系統(tǒng)中各種負(fù)載均衡地分配到各存儲(chǔ)節(jié)點(diǎn)上,以提高文件系統(tǒng)的可用性、穩(wěn)定性和服務(wù)質(zhì)量。
　　在并行文件系統(tǒng)中,隨著節(jié)點(diǎn)的增加、刪除,文件的創(chuàng)建、刪除和修改,以及訪問(wèn)次數(shù)的爆炸性增長(zhǎng),各個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載以不可預(yù)知的方式動(dòng)態(tài)變化,常常發(fā)生部分服務(wù)器資源損耗過(guò)度而另外一些服務(wù)器使用率低下的情況,即負(fù)載傾斜。同時(shí),節(jié)

2、點(diǎn)的突發(fā)故障極易導(dǎo)致系統(tǒng)無(wú)法正常運(yùn)行。雖然使用副本機(jī)制有助于解決上述問(wèn)題,但在不同場(chǎng)景下,還需要針對(duì)場(chǎng)景中的I/O行為特征,以副本為基礎(chǔ),圍繞負(fù)載均衡技術(shù)進(jìn)行研究,找出適用的策略和時(shí)機(jī)。本文針對(duì)一種典型的并行文件系統(tǒng)pNFS(Parallel Network File System),設(shè)計(jì)并實(shí)現(xiàn)了基于概率分布的動(dòng)態(tài)負(fù)載均衡機(jī)制PDDB(Probability Distribution Dynamic Balance)。
　　在并行

3、網(wǎng)絡(luò)文件系統(tǒng)中,PDDB通過(guò)對(duì)文件創(chuàng)建副本,按照容量均衡的方式進(jìn)行文件副本的合理放置,同時(shí)設(shè)計(jì)了鏡像和交錯(cuò)的兩種副本放置模式。PDDB在各數(shù)據(jù)服務(wù)器上構(gòu)建了自適應(yīng)的負(fù)載監(jiān)控系統(tǒng),由元數(shù)據(jù)服務(wù)器收集各個(gè)節(jié)點(diǎn)的CPU、內(nèi)存、存儲(chǔ)空間、網(wǎng)絡(luò)帶寬、磁盤(pán)帶寬等負(fù)載信息,經(jīng)過(guò)對(duì)負(fù)載信息的整合處理,并結(jié)合已經(jīng)獲得的歷史數(shù)據(jù)信息,以綜合負(fù)載的大小決定任務(wù)分配的概率,將訪問(wèn)均衡地分配到當(dāng)前負(fù)載較低的一組服務(wù)器上,并通過(guò)熱點(diǎn)遷移調(diào)度各個(gè)節(jié)點(diǎn)之間的負(fù)載狀態(tài),

4、避免群聚效應(yīng)。并加入副本元數(shù)據(jù)的管理以及副本一致性的維護(hù),保證當(dāng)任一副本的存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí),可以通過(guò)其他副本正常獲取文件內(nèi)容,確保系統(tǒng)的正常運(yùn)行。
　　在測(cè)試中發(fā)現(xiàn),與使用隨機(jī)算法和最小負(fù)載優(yōu)先算法的負(fù)載均衡機(jī)制相比較,PDDB機(jī)制使得各存儲(chǔ)節(jié)點(diǎn)之間的最大負(fù)載差距比二者分別減少了42％和30％,且在文件系統(tǒng)總負(fù)載相同時(shí),各個(gè)節(jié)點(diǎn)的負(fù)載變化也相對(duì)平緩,平均負(fù)載至少降低10％以上。文件系統(tǒng)的平均網(wǎng)絡(luò)吞吐率提升20％,可靠性、穩(wěn)定性和