分布式流處理系統(tǒng)中的容錯機制和負載管理策略的研究.pdf

1、近年來,信息處理技術的應用領域得到了很大的拓展,如金融應用、電子商務、網(wǎng)絡監(jiān)控和實時分析等。在這些應用中,靜態(tài)的關系數(shù)據(jù)已經(jīng)不能滿足人們的需要。在處理現(xiàn)實世界的實時事件中,如何實現(xiàn)連續(xù)、快速、穩(wěn)定和低延時的數(shù)據(jù)流處理成為目前的研究熱點之一。而作為分布式系統(tǒng)關鍵技術的容錯機制和負載管理技術,對分布式數(shù)據(jù)流處理系統(tǒng)的性能起著十分重要的作用。因此,本文重點研究了分布式流處理系統(tǒng)中的關鍵技術:(1)容錯機制,(2)負載管理技術。
　　

2、為了改進現(xiàn)有的分布式數(shù)據(jù)流處理系統(tǒng)中的容錯機制,本文設計了一種基于自適應修復和節(jié)點復制的方法(Self-Recovery and Replication—based Backup,簡稱SRRB),來實現(xiàn)快速、穩(wěn)定的數(shù)據(jù)流處理。基于SRRB修復機制的數(shù)據(jù)流處理系統(tǒng)通過使用節(jié)點復制機制,利用對等節(jié)點并行向下游節(jié)點發(fā)送數(shù)據(jù),使下游節(jié)點能夠使用最先到達該節(jié)點的輸入數(shù)據(jù),來提高數(shù)據(jù)流的傳輸速度。同時,SRRB通過使用自適應修復機制,實現(xiàn)了操作算子

3、之間的通信穩(wěn)定和提高了系統(tǒng)的容錯性能。其次為了平衡網(wǎng)絡開銷和低延時保障,提出用中心節(jié)點算法選擇后備節(jié)點。
　　 為了改進現(xiàn)有的分布式數(shù)據(jù)流處理系統(tǒng)中的負載平衡技術,本文首先設計了一種基于裝箱模型的經(jīng)濟型操作算子分布策略(Economical Operator Distribution,簡稱EOD),在考慮服務器的CPU處理能力的同時引入帶寬約束條件,并將它們轉化為數(shù)學模型中的優(yōu)化問題來求解。其次設計了超操作算子(Super Op

4、erator,簡稱SO),解決系統(tǒng)在初始化時實現(xiàn)多級操作算子的負載平衡,提高了分布式數(shù)據(jù)流處理系統(tǒng)整體的穩(wěn)定性。再次提出了基于染色裝箱模型的染色超操作算子(ColorSuper-Operator,簡稱CSO)方法,把“同級”操作算子分配在不同的服務器上,增強系統(tǒng)的容錯處理能力。同時充分利用基于超操作算子和染色裝箱模型的降載技術,避免輸入數(shù)據(jù)流突變或波動對系統(tǒng)造成的影響,保證了高質(zhì)量的查詢結果。
　　 最后綜合上述方案設計了一種經(jīng)