基于MapReduce的復雜結(jié)構(gòu)數(shù)據(jù)處理.pdf

1、近年以來，大數(shù)據(jù)處理的問題一直困擾著整個計算機界。尤其是World WideWeb誕生以后，互聯(lián)網(wǎng)尤其是中國互聯(lián)網(wǎng)飛速發(fā)展，各種類型的數(shù)據(jù)爆炸式增長。如今，傳統(tǒng)的集中式數(shù)據(jù)庫得到了廣泛的應(yīng)用，幾乎無處不在。然而經(jīng)過學術(shù)界廣泛研究和工業(yè)界長期實踐發(fā)現(xiàn)傳統(tǒng)的集中式數(shù)據(jù)管理技術(shù)正逐漸向著少數(shù)大公司相繼建立的基于云架構(gòu)的數(shù)據(jù)中心演變。在此背景之下，如何在大型的數(shù)據(jù)中心中存儲、索引和組織海量的數(shù)據(jù)已經(jīng)成為當今全世界迫切需要解決的難題。
　　

2、海量數(shù)據(jù)的管理問題已經(jīng)引起了全世界學術(shù)界和工業(yè)界的廣泛關(guān)注。計算機應(yīng)用的種類不斷增加，海量數(shù)據(jù)的結(jié)構(gòu)類型也隨之千變?nèi)f化，雖然當前對海量數(shù)據(jù)處理已經(jīng)有了較系統(tǒng)的研究，然而很難用一種通用的技術(shù)來解決復雜結(jié)構(gòu)的海量數(shù)據(jù)的處理。面對現(xiàn)實世界中眾多各具特色的數(shù)據(jù)，迫切的需要相應(yīng)的技術(shù)來支持，特別是對結(jié)構(gòu)較為復雜的數(shù)據(jù)處理的支持。
　　基于以上描述，本文對復雜結(jié)構(gòu)的海量數(shù)據(jù)處理做了深入研究。文中以兩種復雜結(jié)構(gòu)類型的數(shù)據(jù)為代表，詳細討論了如何基

3、于MapReduce框架對各種復雜結(jié)構(gòu)的海量數(shù)據(jù)進行高效的處理。重點研究了如何才能夠使用一種通用模型直接支持于復雜結(jié)構(gòu)的海量數(shù)據(jù)處理。著重從以下幾點進行了研究。
　　·分析了復雜結(jié)構(gòu)的海量數(shù)據(jù)處理的迫切性與可行性。MapReduce比較適宜于海量數(shù)據(jù)的離線處理，但是該模型將輸入數(shù)據(jù)作為簡單的字符流讀入。由于簡單的字符流并不能表示數(shù)據(jù)的復雜結(jié)構(gòu)，因此傳統(tǒng)的MapReduce模型并不能直接用于復雜結(jié)構(gòu)數(shù)據(jù)的處理。然而現(xiàn)實世界中越來越多

4、的應(yīng)用均為復雜結(jié)構(gòu)的數(shù)據(jù)，因此迫切的需要復雜結(jié)構(gòu)的數(shù)據(jù)處理技術(shù)。
　　·實現(xiàn)了基于MapReduce的論壇圖數(shù)據(jù)的分析性查詢。論壇數(shù)據(jù)是本文研究的第一種類型的數(shù)據(jù)，同時也是最具典型性的復雜結(jié)構(gòu)數(shù)據(jù)。現(xiàn)存的論壇數(shù)據(jù)分析技術(shù)大多基于數(shù)據(jù)的文本內(nèi)容，而忽視了數(shù)據(jù)本身的結(jié)構(gòu)信息。本文提出了一種新的海量數(shù)據(jù)分析和查詢工具，作為CWI(Chinese WebInfrasture)的一部分，實現(xiàn)了對于論壇數(shù)據(jù)內(nèi)容和結(jié)構(gòu)的綜合分析性查詢。文中實現(xiàn)

5、了在分布式的環(huán)境下對TLGM圖的處理，并在此基礎(chǔ)上，進一步實現(xiàn)了TLGM-QL的四個基本算子，并通過實驗證明該方法具有良好的平衡性和可擴展性。
　　·實現(xiàn)了基于MapReduce的移動對象軌跡數(shù)據(jù)的查詢處理。移動對象的軌跡數(shù)據(jù)是本文研究的另一種類型的數(shù)據(jù)，同時也是最具典型性的時序數(shù)據(jù)。如何不破壞時序數(shù)據(jù)的特殊屬性，而將其劃分為若干部分分配到各個節(jié)點中分布式管理，同時在各個節(jié)點中高度并行的執(zhí)行數(shù)據(jù)處理，是在云架構(gòu)中首先需要解決的關(guān)鍵