HBase多條件復(fù)雜查詢的實(shí)現(xiàn)方法研究.pdf

1、隨著互聯(lián)網(wǎng)+時(shí)代的到來，互聯(lián)網(wǎng)化和現(xiàn)實(shí)世界數(shù)據(jù)化使得數(shù)據(jù)爆發(fā)性增長(zhǎng)。這些海量、異構(gòu)的數(shù)據(jù)中蘊(yùn)含著巨大的潛力和價(jià)值，對(duì)其進(jìn)行有效的處理具有重要的意義。為了滿足對(duì)大數(shù)據(jù)進(jìn)行高效處理的需求，非關(guān)系型數(shù)據(jù)庫NoSQL應(yīng)運(yùn)而生。作為NoSQL的典型代表，HBase被使用得最為廣泛。但由于HBase采用了key-value的基礎(chǔ)結(jié)構(gòu)，僅支持對(duì)RowKey的高效查詢，對(duì)多條件復(fù)雜查詢存在困難。由于HBase的存儲(chǔ)結(jié)構(gòu)是非結(jié)構(gòu)化的，如果不支持多條件查詢

2、，就不能對(duì)敏感和重要數(shù)據(jù)進(jìn)行定位和保護(hù)。所以實(shí)現(xiàn)HBase多條件復(fù)雜查詢對(duì)大數(shù)據(jù)的處理和信息安全有著重要作用。
　　本文致力于實(shí)現(xiàn)HBase對(duì)多條件復(fù)雜查詢的支持，論文的研究工作得到了國(guó)家自然科學(xué)基金項(xiàng)目(No.61172072、61271308)、北京市自然科學(xué)基金項(xiàng)目(No.4112045)和高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(No.20100009110002)的支持。
　　論文的主要工作如下:首先對(duì)HBase的技術(shù)基礎(chǔ)和

3、相關(guān)特性進(jìn)行研究。然后對(duì)現(xiàn)有HBase多條件復(fù)雜查詢的實(shí)現(xiàn)方法進(jìn)行研究，將現(xiàn)有方法分為二級(jí)索引方法和線性化索引方法。分別對(duì)兩類方法的典型技術(shù)進(jìn)行研究，分析其原理、優(yōu)缺點(diǎn)和運(yùn)用場(chǎng)景。根據(jù)上述研究和分析提出了一種基于希爾伯特空間填充曲線的線性化索引方法，以實(shí)現(xiàn)HBase的多條件復(fù)雜查詢。此方法首先提出了一種多條件到主鍵映射的RowKey生成模型，然后運(yùn)用此模型設(shè)計(jì)了方法的總體架構(gòu)，之后再給出此方法的查詢策略和過濾器設(shè)計(jì)，并重構(gòu)了分區(qū)機(jī)制，最

4、后對(duì)方法進(jìn)行了非侵入式實(shí)現(xiàn)，給出其模塊劃分及其主要方法。
　　為了進(jìn)一步提高方法的性能，本文提出了一種基于希爾伯特索引和客戶端緩存的優(yōu)化方法。首先描述了希爾伯特索引的結(jié)構(gòu)和實(shí)現(xiàn)，然后再從緩存結(jié)構(gòu)和熱點(diǎn)劃分和替換策略方面描述了客戶端緩存方法的設(shè)計(jì)和實(shí)現(xiàn)。
　　為了驗(yàn)證本文提出的多條件查詢方法的性能和優(yōu)化方法的效果，本文方法先通過與其他方法從查詢性能，插入性能，數(shù)據(jù)冗余度和負(fù)載均衡性能方面進(jìn)行了對(duì)比實(shí)驗(yàn)，然后再對(duì)優(yōu)化前后的方法性