一種海量結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)研究.pdf

1、隨著計算機的普及及互聯(lián)網(wǎng)的迅猛發(fā)展，信息呈現(xiàn)爆炸式地增長。人們需要從這些越來越多、越來越復雜的數(shù)據(jù)中找到對自己有用的信息，因而，對于海量數(shù)據(jù)的處理和分析變得越來越重要。當前，社會上有很多針對海量數(shù)據(jù)處理和分析的工具，如Hadoop、各種并性數(shù)據(jù)庫和HadoopDB等。但是，Hadoop處理結(jié)構(gòu)化數(shù)據(jù)比較困難，HadoopDB僅僅是一個試驗性的項目，由各種各樣的缺點。因此，對于海量的結(jié)構(gòu)化數(shù)據(jù)來說，需要一種新的處理技術(shù)或工具。
　　

2、本文研究了一種基于Hadoop平臺的海量結(jié)構(gòu)化數(shù)據(jù)處理的技術(shù)。FlexDB系統(tǒng)使用SQL語言，便于學習和使用;使用ANTLR建立分析器，并對SELECT查詢等操作做了一些優(yōu)化，以便提高查詢效率;基于MapReduce的思想，可以把所有的操作都分成子操作來完成。
　　要利用系統(tǒng)處理信息，首先要把要處理數(shù)據(jù)裝載如系統(tǒng)，此時要對元數(shù)據(jù)數(shù)據(jù)序進行操作以記錄下數(shù)據(jù)的基本信息并在各節(jié)點創(chuàng)建子表;然后可以對數(shù)據(jù)進行處理，主要是SELECT查詢操

3、作，并把處理結(jié)果顯示出來或?qū)懘娴较鄳?yīng)的數(shù)據(jù)庫中，也可能查詢之后刪除某些記錄或字表，此時進行DELETE刪除操作。
　　論文首先介紹了研究背景和意義，之后介紹了當前國內(nèi)外海量結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)的現(xiàn)狀;然后介紹了系統(tǒng)中使用的各種技術(shù)和相關(guān)思想;接著介紹了FlexDB系統(tǒng)的結(jié)構(gòu)框架并詳細描述了數(shù)據(jù)裝載與語法分析器部分的實現(xiàn);之后使用一組數(shù)據(jù)讓FlexDB、Hive、HadoopDB分別進行處理，證明新技術(shù)的比較優(yōu)勢;最后對論文進行了總結(jié)