復雜應用場景下的海量數據處理技術研究.pdf

1、隨著計算機技術和網絡技術的高速發(fā)展，人類的生產生活活動信息越來越頻繁地被數字化，不僅數據量呈現爆發(fā)性增長，而且數據來源呈現異構特性。另一方面，數據的價值也越來越受到重視，人們期望從海量的多樣化數據中挖掘有用的信息和規(guī)律。因此，如何實現對海量數據的高效處理，是近年來系統(tǒng)領域的研究熱點，同時也獲得工業(yè)界的高度青睞。
　　海量數據處理場景主要分為兩種，即離線處理和在線處理。離線處理針對已經被存儲的批量靜態(tài)歷史數據，關注點在于吞吐量;在線

2、處理針對源源不斷產生的動態(tài)數據流，關注點在于實時性。近年來，這兩種處理場景都得到了學術界的廣泛關注，也產生了許多優(yōu)秀的研究成果。
　　本文主要聚焦于一類廣泛存在的海量數據處理應用場景。在這類場景中，既有對靜態(tài)數據進行離線處理的需求，又有對動態(tài)數據進行在線處理的需求。本文的工作主要有兩點:1）針對復雜的海量數據處理場景，提出一種基于分布式的系統(tǒng)架構。首先，架構可以有效支持多數據源的高速數據接入;其次，架構可以以平滑的方式為后續(xù)的離線

3、處理和在線處理提供一致的數據流，將兩者有機結合，兼顧吞吐量和實時性的需求;第三，架構可以支持離線處理和在線處理的結果在業(yè)務層面上的融合匯聚。我們從理論上對架構的合理性給予分析，并從實驗和應用層面對架構的有效性進行說明。2）針對海量數據處理場景中的分布式任務分配需求，提出一種去中心化的分布式任務分配方法。在我們提出的方法中，沒有中心節(jié)點的參與，所有節(jié)點以對等的形態(tài)參與任務分配過程，因此避免了主從結構方法中由中心節(jié)點異常帶來的系統(tǒng)失效風險。