分布式數(shù)據(jù)流處理系統(tǒng)的負(fù)載均衡技術(shù)研究與實(shí)現(xiàn).pdf

1、近年來，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展，在網(wǎng)絡(luò)服務(wù)安全、金融數(shù)據(jù)分析、移動設(shè)備通信等領(lǐng)域出現(xiàn)了大量基于流數(shù)據(jù)的應(yīng)用。由于流數(shù)據(jù)應(yīng)用經(jīng)常面臨的數(shù)據(jù)規(guī)模很大，因此需要將不同的節(jié)點(diǎn)連接起來構(gòu)成分布式計(jì)算環(huán)境，并實(shí)現(xiàn)這些節(jié)點(diǎn)的負(fù)載均衡。然而在分布式流處理系統(tǒng)中，流數(shù)據(jù)的突發(fā)性和不可控性，使得傳統(tǒng)分布式系統(tǒng)負(fù)載均衡技術(shù)已不能滿足要求，流處理系統(tǒng)的負(fù)載均衡技術(shù)成為當(dāng)前研究的熱點(diǎn)之一。
　　本文主要解決的是分布式流處理系統(tǒng)中的負(fù)載均衡問題。首先分別從

2、靜態(tài)和動態(tài)兩個方面來進(jìn)行研究。靜態(tài)負(fù)載均衡即圍繞流處理系統(tǒng)運(yùn)行前操作盒算子的分配問題，以將算子均勻的分配到各個處理節(jié)點(diǎn)上為目標(biāo)?？紤]到多節(jié)點(diǎn)處理性能的差異，提出了基于負(fù)載權(quán)值的靜態(tài)負(fù)載均衡算法。算法先是將全局算子組合為若干標(biāo)準(zhǔn)算子組和大算子，然后基于節(jié)點(diǎn)相對處理模型和負(fù)載權(quán)值來實(shí)現(xiàn)這些算子的均衡分配，最后在分配的結(jié)果上運(yùn)用調(diào)整算法進(jìn)一步進(jìn)行均衡。動態(tài)負(fù)載均衡則是研究在分布式流處理系統(tǒng)運(yùn)行過程中，為了減少各節(jié)點(diǎn)間處理負(fù)載的差距，充分的利用

3、系統(tǒng)資源以進(jìn)行負(fù)載均衡。為了避免遷移的滯后性，提出了基于預(yù)測分析的動態(tài)負(fù)載均衡算法。通過對各個處理節(jié)點(diǎn)負(fù)載狀態(tài)進(jìn)行周期性的收集，并對收集的節(jié)點(diǎn)負(fù)載序列進(jìn)行預(yù)測分析選取誤差最小的預(yù)測數(shù)據(jù)。根據(jù)各節(jié)點(diǎn)的處理負(fù)載來判斷節(jié)點(diǎn)狀態(tài)，在高低狀態(tài)節(jié)點(diǎn)對間基于相關(guān)系數(shù)進(jìn)行負(fù)載的遷移，并且轉(zhuǎn)移是以操作盒算子為單位進(jìn)行的。最后以研究的靜態(tài)和動態(tài)負(fù)載均衡算法為基礎(chǔ)，對分布式流處理系統(tǒng)整體負(fù)載均衡解決方案進(jìn)行設(shè)計(jì)并實(shí)現(xiàn)。系統(tǒng)由管理節(jié)點(diǎn)和若干處理節(jié)點(diǎn)構(gòu)成業(yè)務(wù)集群