數(shù)據(jù)流處理系統(tǒng)中查詢?nèi)蝿?wù)管理的研究與實(shí)現(xiàn).pdf

1、近年來，隨著計算機(jī)通信和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，在交通管理、網(wǎng)絡(luò)監(jiān)控與安全、股票行情分析、電信數(shù)據(jù)管理、傳感器網(wǎng)絡(luò)查詢等諸多領(lǐng)域產(chǎn)生了許多基于數(shù)據(jù)流的應(yīng)用。因為這些應(yīng)用處理的都是大規(guī)模的數(shù)據(jù)，所以需要把多個不同的處理節(jié)點(diǎn)連接起來構(gòu)成分布式處理環(huán)境，并把對數(shù)據(jù)進(jìn)行處理的查詢?nèi)蝿?wù)均衡的分配到各處理節(jié)點(diǎn)上，實(shí)現(xiàn)系統(tǒng)的負(fù)載平衡。由于數(shù)據(jù)流數(shù)據(jù)的隨機(jī)性和不可預(yù)知性，使得傳統(tǒng)分布式的負(fù)載管理技術(shù)已經(jīng)達(dá)不到要求，因此如何對查詢?nèi)蝿?wù)進(jìn)行管理，使整個數(shù)據(jù)流處

2、理系統(tǒng)的負(fù)載達(dá)到平衡則成為了當(dāng)前研究的一個熱點(diǎn)。
　　本文主要解決的問題是如何對分布式數(shù)據(jù)流處理系統(tǒng)中查詢?nèi)蝿?wù)進(jìn)行管理使整個系統(tǒng)中處理節(jié)點(diǎn)的負(fù)載平衡。分別從靜態(tài)初始化和動態(tài)運(yùn)行這兩個方面來進(jìn)行研究，主要工作和研究成果如下：
　　1.為了解決系統(tǒng)中查詢?nèi)蝿?wù)的靜態(tài)負(fù)載分配問題，通過研究現(xiàn)有算法，提出了一種基于最優(yōu)2-交換的靜態(tài)負(fù)載平衡算法，此算法不但考慮了各處理節(jié)點(diǎn)之間處理能力的差異性，而且還改進(jìn)了啟發(fā)式算法的缺點(diǎn)，將系統(tǒng)中查詢

3、任務(wù)均勻地分配到各處理節(jié)點(diǎn)，使任務(wù)的分配更加合理。
　　2.為了解決數(shù)據(jù)流處理系統(tǒng)中在運(yùn)行的過程中出現(xiàn)的多個處理節(jié)點(diǎn)間負(fù)載不平衡的現(xiàn)象，通過研究現(xiàn)有算法，提出了一種基于時延和負(fù)載的動態(tài)負(fù)載平衡策略，此策略考慮處理節(jié)點(diǎn)的負(fù)載和處理節(jié)點(diǎn)間的數(shù)據(jù)流量，并且采用雙閾值把處理節(jié)點(diǎn)分為高、低、正常三種狀態(tài)，只對處于高負(fù)載狀態(tài)的處理節(jié)點(diǎn)和低負(fù)載狀態(tài)的處理節(jié)點(diǎn)之間做查詢?nèi)蝿?wù)遷移操作，減少了用戶需求的處理時延，提高了系統(tǒng)的穩(wěn)定性。
　　3.采