基于MapReduce的復(fù)雜結(jié)構(gòu)數(shù)據(jù)處理.pdf

1、近年以來(lái)，大數(shù)據(jù)處理的問(wèn)題一直困擾著整個(gè)計(jì)算機(jī)界。尤其是World WideWeb誕生以后，互聯(lián)網(wǎng)尤其是中國(guó)互聯(lián)網(wǎng)飛速發(fā)展，各種類型的數(shù)據(jù)爆炸式增長(zhǎng)。如今，傳統(tǒng)的集中式數(shù)據(jù)庫(kù)得到了廣泛的應(yīng)用，幾乎無(wú)處不在。然而經(jīng)過(guò)學(xué)術(shù)界廣泛研究和工業(yè)界長(zhǎng)期實(shí)踐發(fā)現(xiàn)傳統(tǒng)的集中式數(shù)據(jù)管理技術(shù)正逐漸向著少數(shù)大公司相繼建立的基于云架構(gòu)的數(shù)據(jù)中心演變。在此背景之下，如何在大型的數(shù)據(jù)中心中存儲(chǔ)、索引和組織海量的數(shù)據(jù)已經(jīng)成為當(dāng)今全世界迫切需要解決的難題。
　　

2、海量數(shù)據(jù)的管理問(wèn)題已經(jīng)引起了全世界學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。計(jì)算機(jī)應(yīng)用的種類不斷增加，海量數(shù)據(jù)的結(jié)構(gòu)類型也隨之千變?nèi)f化，雖然當(dāng)前對(duì)海量數(shù)據(jù)處理已經(jīng)有了較系統(tǒng)的研究，然而很難用一種通用的技術(shù)來(lái)解決復(fù)雜結(jié)構(gòu)的海量數(shù)據(jù)的處理。面對(duì)現(xiàn)實(shí)世界中眾多各具特色的數(shù)據(jù)，迫切的需要相應(yīng)的技術(shù)來(lái)支持，特別是對(duì)結(jié)構(gòu)較為復(fù)雜的數(shù)據(jù)處理的支持。
　　基于以上描述，本文對(duì)復(fù)雜結(jié)構(gòu)的海量數(shù)據(jù)處理做了深入研究。文中以兩種復(fù)雜結(jié)構(gòu)類型的數(shù)據(jù)為代表，詳細(xì)討論了如何基

3、于MapReduce框架對(duì)各種復(fù)雜結(jié)構(gòu)的海量數(shù)據(jù)進(jìn)行高效的處理。重點(diǎn)研究了如何才能夠使用一種通用模型直接支持于復(fù)雜結(jié)構(gòu)的海量數(shù)據(jù)處理。著重從以下幾點(diǎn)進(jìn)行了研究。
　　·分析了復(fù)雜結(jié)構(gòu)的海量數(shù)據(jù)處理的迫切性與可行性。MapReduce比較適宜于海量數(shù)據(jù)的離線處理，但是該模型將輸入數(shù)據(jù)作為簡(jiǎn)單的字符流讀入。由于簡(jiǎn)單的字符流并不能表示數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，因此傳統(tǒng)的MapReduce模型并不能直接用于復(fù)雜結(jié)構(gòu)數(shù)據(jù)的處理。然而現(xiàn)實(shí)世界中越來(lái)越多

4、的應(yīng)用均為復(fù)雜結(jié)構(gòu)的數(shù)據(jù)，因此迫切的需要復(fù)雜結(jié)構(gòu)的數(shù)據(jù)處理技術(shù)。
　　·實(shí)現(xiàn)了基于MapReduce的論壇圖數(shù)據(jù)的分析性查詢。論壇數(shù)據(jù)是本文研究的第一種類型的數(shù)據(jù)，同時(shí)也是最具典型性的復(fù)雜結(jié)構(gòu)數(shù)據(jù)?，F(xiàn)存的論壇數(shù)據(jù)分析技術(shù)大多基于數(shù)據(jù)的文本內(nèi)容，而忽視了數(shù)據(jù)本身的結(jié)構(gòu)信息。本文提出了一種新的海量數(shù)據(jù)分析和查詢工具，作為CWI(Chinese WebInfrasture)的一部分，實(shí)現(xiàn)了對(duì)于論壇數(shù)據(jù)內(nèi)容和結(jié)構(gòu)的綜合分析性查詢。文中實(shí)現(xiàn)

5、了在分布式的環(huán)境下對(duì)TLGM圖的處理，并在此基礎(chǔ)上，進(jìn)一步實(shí)現(xiàn)了TLGM-QL的四個(gè)基本算子，并通過(guò)實(shí)驗(yàn)證明該方法具有良好的平衡性和可擴(kuò)展性。
　　·實(shí)現(xiàn)了基于MapReduce的移動(dòng)對(duì)象軌跡數(shù)據(jù)的查詢處理。移動(dòng)對(duì)象的軌跡數(shù)據(jù)是本文研究的另一種類型的數(shù)據(jù)，同時(shí)也是最具典型性的時(shí)序數(shù)據(jù)。如何不破壞時(shí)序數(shù)據(jù)的特殊屬性，而將其劃分為若干部分分配到各個(gè)節(jié)點(diǎn)中分布式管理，同時(shí)在各個(gè)節(jié)點(diǎn)中高度并行的執(zhí)行數(shù)據(jù)處理，是在云架構(gòu)中首先需要解決的關(guān)鍵