分布式數(shù)據(jù)流處理系統(tǒng)動態(tài)負載管理研究.pdf

1、近年來，網(wǎng)絡路由、入侵檢測、傳感器網(wǎng)絡、股票分析、交通管理、移動通信、環(huán)境監(jiān)測、健康狀況監(jiān)控、基于RFID的物品跟蹤、電子商務交易信息以及數(shù)字化戰(zhàn)場等應用領(lǐng)域的數(shù)據(jù)不斷增長，給傳統(tǒng)的數(shù)據(jù)處理技術(shù)帶來了極大的挑戰(zhàn)。這類應用具有數(shù)據(jù)量巨大、數(shù)據(jù)持續(xù)不斷地到達且沒有邊界、具有一定的實時性以及數(shù)據(jù)具有時效性等特點，傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)難以適應這類應用的需要。近年來出現(xiàn)的數(shù)據(jù)流管理技術(shù)，為這一類應用提供了一條很好的途徑，這一研究領(lǐng)域得到了研究工

2、作者的密切關(guān)注。 負載管理是保證數(shù)據(jù)流處理系統(tǒng)正常運行，提高數(shù)據(jù)流處理系統(tǒng)性能的關(guān)鍵技術(shù)之一。現(xiàn)有的數(shù)據(jù)流處理系統(tǒng)存在擴展性不強、適應面狹窄等問題，難以適應分布式數(shù)據(jù)流處理的需要。本文對數(shù)據(jù)流處理系統(tǒng)的基本結(jié)構(gòu)、工作原理、實現(xiàn)方法以及系統(tǒng)特點等進行了討論，針對單位時間內(nèi)輸入系統(tǒng)的數(shù)據(jù)元組變化引起的系統(tǒng)過載問題，探討了數(shù)據(jù)流處理系統(tǒng)負載管理模型的構(gòu)建方法，并對負載平衡、負載丟棄以及分布式多數(shù)據(jù)流的連接操作等關(guān)鍵技術(shù)進行了深入地研究

3、。主要工作和研究成果如下： （1）提出了一種基于Chord擴展的層次型重疊網(wǎng)絡vRing，通過對Chord進行擴展，充分利用網(wǎng)絡的接近性構(gòu)造vRing，從而形成一個分層的重疊網(wǎng)絡，為系統(tǒng)的負載平衡提供一個合適的底層網(wǎng)絡。在vRing的基礎(chǔ)上，提出了一種分層的分布式動態(tài)數(shù)據(jù)流負載平衡算法vDDSLB。當某個節(jié)點超載時，負載平衡算法先在位于同一子域的節(jié)點間進行負載的遷移；當同一子域中的負載平衡仍不能滿足需要時，再選擇在整個系統(tǒng)范圍內(nèi)

4、進行負載平衡。絕大部分的負載遷移活動都位于相應的子域內(nèi)，減少了數(shù)據(jù)延遲和系統(tǒng)開銷。 （2）提出了一種基于線性規(guī)劃的分布式負載丟棄算法LPBDLS。目前的負載丟棄算法主要側(cè)重于單個節(jié)點內(nèi)部的處理，對于節(jié)點間的負載丟棄研究較少，本文提出的LPBDLS算法是一種分布式的負載丟棄算法，除了考慮CPU約束外，還將網(wǎng)絡連接做為一個重要約束條件，提高了網(wǎng)絡連接受限情況下的系統(tǒng)吞吐量。 （3）提出了一種多數(shù)據(jù)流分布式連接查詢算法DMS-

5、Join。由于數(shù)據(jù)流系統(tǒng)天然的分布性，將連接操作分布處理比集中式處理更適合多數(shù)據(jù)流系統(tǒng)的特點，在分布式環(huán)境下，網(wǎng)絡傳輸帶寬是一定的，本文提出的算法，在網(wǎng)絡傳輸約束條件下，能夠有效地完成多數(shù)據(jù)流的分布式連接操作問題。 （4）提出了一個基于vRing的動態(tài)分布式負載管理系統(tǒng)框架。該系統(tǒng)框架建立在Chord重疊網(wǎng)絡的擴展vRing的基礎(chǔ)之上，利用vRing的網(wǎng)絡接近性和其分層的特性，設(shè)計了一個分層的動態(tài)分布式負載管理系統(tǒng)框架。