復(fù)雜應(yīng)用場景下的海量數(shù)據(jù)處理技術(shù)研究.pdf

1、隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的高速發(fā)展，人類的生產(chǎn)生活活動信息越來越頻繁地被數(shù)字化，不僅數(shù)據(jù)量呈現(xiàn)爆發(fā)性增長，而且數(shù)據(jù)來源呈現(xiàn)異構(gòu)特性。另一方面，數(shù)據(jù)的價值也越來越受到重視，人們期望從海量的多樣化數(shù)據(jù)中挖掘有用的信息和規(guī)律。因此，如何實現(xiàn)對海量數(shù)據(jù)的高效處理，是近年來系統(tǒng)領(lǐng)域的研究熱點，同時也獲得工業(yè)界的高度青睞。
　　海量數(shù)據(jù)處理場景主要分為兩種，即離線處理和在線處理。離線處理針對已經(jīng)被存儲的批量靜態(tài)歷史數(shù)據(jù)，關(guān)注點在于吞吐量;在線

2、處理針對源源不斷產(chǎn)生的動態(tài)數(shù)據(jù)流，關(guān)注點在于實時性。近年來，這兩種處理場景都得到了學(xué)術(shù)界的廣泛關(guān)注，也產(chǎn)生了許多優(yōu)秀的研究成果。
　　本文主要聚焦于一類廣泛存在的海量數(shù)據(jù)處理應(yīng)用場景。在這類場景中，既有對靜態(tài)數(shù)據(jù)進行離線處理的需求，又有對動態(tài)數(shù)據(jù)進行在線處理的需求。本文的工作主要有兩點:1）針對復(fù)雜的海量數(shù)據(jù)處理場景，提出一種基于分布式的系統(tǒng)架構(gòu)。首先，架構(gòu)可以有效支持多數(shù)據(jù)源的高速數(shù)據(jù)接入;其次，架構(gòu)可以以平滑的方式為后續(xù)的離線

3、處理和在線處理提供一致的數(shù)據(jù)流，將兩者有機結(jié)合，兼顧吞吐量和實時性的需求;第三，架構(gòu)可以支持離線處理和在線處理的結(jié)果在業(yè)務(wù)層面上的融合匯聚。我們從理論上對架構(gòu)的合理性給予分析，并從實驗和應(yīng)用層面對架構(gòu)的有效性進行說明。2）針對海量數(shù)據(jù)處理場景中的分布式任務(wù)分配需求，提出一種去中心化的分布式任務(wù)分配方法。在我們提出的方法中，沒有中心節(jié)點的參與，所有節(jié)點以對等的形態(tài)參與任務(wù)分配過程，因此避免了主從結(jié)構(gòu)方法中由中心節(jié)點異常帶來的系統(tǒng)失效風(fēng)險。