基于HBase的SQL轉(zhuǎn)化引擎研究.pdf

1、互聯(lián)網(wǎng)和移動通信的出現(xiàn),是信息化高速發(fā)展的結(jié)果。互聯(lián)網(wǎng)和移動通信逐漸成為人們最主要的交流溝通工具。信息化的世界需要大數(shù)據(jù)的支持,大數(shù)據(jù)的出現(xiàn)又使得關(guān)系型數(shù)據(jù)庫暴露出了種種的不足,這使得關(guān)系型數(shù)據(jù)庫的統(tǒng)治地位岌岌可危。在此背景下,NoSQL數(shù)據(jù)庫孕育而生,NoSQL數(shù)據(jù)庫產(chǎn)品猶如雨后春筍般蓬勃發(fā)展。這些數(shù)據(jù)庫的最大特點就是能夠進(jìn)行GB級別到TB級別的數(shù)據(jù)處理。其中,HBase備受關(guān)注。然而,為了使得數(shù)據(jù)庫能夠支持大數(shù)據(jù)的處理和非結(jié)構(gòu)化數(shù)據(jù)

2、,NoSQL數(shù)據(jù)庫放棄了關(guān)系型數(shù)據(jù)庫強制的事務(wù)完整性,二級索引機制和SQL語句作為輸入的查詢操作。隨著HBase的流行,人們開始著手為HBase實現(xiàn)一個支持SQL的轉(zhuǎn)化層,以降低對HBase使用的學(xué)習(xí)難度。
　　本文開篇對本論文撰寫的研究背景和意義進(jìn)行了闡述,說明了設(shè)計和實現(xiàn)一個基于HBase的SQL轉(zhuǎn)化引擎的重要性。然后,用一章的內(nèi)容對SQL轉(zhuǎn)化引擎相關(guān)的背景知識進(jìn)行了介紹,主要包括對Hadoop的概念和架構(gòu)的介紹;對HBase

3、整體設(shè)計介紹和 HBase與傳統(tǒng)關(guān)系型數(shù)據(jù)庫對比分析;以及對 ANTLR這個解析工具的工作流程和作用進(jìn)行了詳細(xì)的說明介紹。接下來,是對SQL轉(zhuǎn)化引擎系統(tǒng)設(shè)計架構(gòu)的介紹,分層介紹了SQL解析層、SQL分析層、SQL-HBase轉(zhuǎn)化層以及HBase API調(diào)用層。接著,是對SQL轉(zhuǎn)化引擎的系統(tǒng)實現(xiàn)進(jìn)行了充分的討論,說明了各個部分實現(xiàn)的原理和關(guān)鍵技術(shù)。需要補充的是,系統(tǒng)實現(xiàn)利用了 HBase現(xiàn)有的大部分接口和協(xié)處理器框架來完成傳統(tǒng)關(guān)系型數(shù)據(jù)庫

4、的查詢和聚合。文章最后也對SQL轉(zhuǎn)化引擎的效果進(jìn)行了通過性測試和時間性能測試。
　　綜上所述,本論文提出了設(shè)計一個基于HBase的SQL轉(zhuǎn)化引擎,使得HBase能接收SQL語句作來操縱HBase的設(shè)想變?yōu)楝F(xiàn)實。通過ANTLR對SQL語句進(jìn)行解析,對解析的結(jié)果進(jìn)行對象化封裝并對參數(shù)進(jìn)行遍歷訪問求解出需要查找的列和行,再調(diào)用了經(jīng)過封裝的HBase API類方法來返回結(jié)果,實現(xiàn)了一個可用的,簡單的SQL轉(zhuǎn)化引擎。本論文也是對HBase擴(kuò)