基于批處理模式的實時流處理系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和各類智能設(shè)備的普及，人類產(chǎn)生的數(shù)據(jù)量呈爆炸式增長。如何實時有效地處理這些大數(shù)據(jù)已經(jīng)成為當今學界和工業(yè)界的研究熱點。為此，涌現(xiàn)出許多分布式流處理框架。它們大致可以分為兩大類：以Storm、S4等為代表的連續(xù)流處理系統(tǒng)，以及以Spark Streaming、HOP為代表的離散流處理系統(tǒng)。離散流處理系統(tǒng)吞吐率大，容錯恢復快速容易，易于與批處理應用結(jié)合。但由于它們是基于批處理模式，在面臨實時性要求較高的流計算應用以及系統(tǒng)中

2、大量微小任務時往往表現(xiàn)出負載不均衡、延遲較高等不適應性，導致流計算應用得不到及時快速的響應，甚至影響到整個系統(tǒng)的穩(wěn)定。
　　在分布式集群環(huán)境下，基于批處理模式的實時流處理系統(tǒng)可以解決上述問題。其通過在流計算應用處理過程中監(jiān)控作業(yè)的運行狀態(tài)，動態(tài)地計算節(jié)點處理能力，并根據(jù)輸入流的歷史輸入速率數(shù)據(jù)預測未來的輸入流速率，設(shè)計并實現(xiàn)了一種前瞻式的負載均衡機制。系統(tǒng)采用微小批次作為數(shù)據(jù)單元，在接收數(shù)據(jù)的同時根據(jù)各個工作節(jié)點處理能力的不同分發(fā)

3、與之能力相適應的數(shù)據(jù)量到特定節(jié)點。從而在數(shù)據(jù)處理階段，擁有數(shù)據(jù)的節(jié)點能夠在本地發(fā)起任務，達到更好的數(shù)據(jù)本地性和系統(tǒng)負載均衡，實現(xiàn)更低的處理延遲。此外，系統(tǒng)通過在數(shù)據(jù)接收階段就進行了數(shù)據(jù)的分發(fā)，使得數(shù)據(jù)接收節(jié)點因為數(shù)據(jù)輸入速率過快而成為系統(tǒng)瓶頸的可能性降低，有效地提高了吞吐率。
　　實驗結(jié)果表明，基于批處理模式的實時流處理系統(tǒng)對傳統(tǒng)離散流處理系統(tǒng)在處理延遲和吞吐率性能上都有很大的提升，分別可達50％和200%。并且隨著流應用復雜度的