HBase非主鍵屬性索引方法及實現(xiàn).pdf

1、當(dāng)前，互聯(lián)網(wǎng)正朝著移動化進(jìn)一步發(fā)展，社交網(wǎng)絡(luò)等新興內(nèi)容也在不斷興起，人們可以很方便地獲取到想要的信息。正是隨著上述新興內(nèi)容的不斷發(fā)展，業(yè)務(wù)的形態(tài)變得多樣化，每天產(chǎn)生的數(shù)據(jù)也越來越多。大數(shù)據(jù)有著不可估量的價值，數(shù)據(jù)間的關(guān)系也在企業(yè)的運(yùn)營、決策中發(fā)揮著重要作用。所以研究和尋找有效的大數(shù)據(jù)存儲管理方法，提供實時或準(zhǔn)實時的大數(shù)據(jù)查詢分析能力，成為一個亟待解決的問題。然而，在大數(shù)據(jù)以及高并發(fā)的數(shù)據(jù)讀寫請求的背景下，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫瓶頸凸顯，已經(jīng)

2、無法滿足需求。而NoSQ L即非關(guān)系型數(shù)據(jù)庫能很好地解決上述問題，其中HBase（Hadoop Database）是一個典型應(yīng)用。
　　HBase為大數(shù)據(jù)的存儲管理和查詢分析提供了高效的技術(shù)和平臺。雖然HBase提供主鍵的高效檢索，然而其對非主鍵屬性檢索的支持并不是很理想，這導(dǎo)致了HBase的非主鍵屬性查詢效率較低，難以滿足數(shù)據(jù)實時或準(zhǔn)實時的查詢需求。為此，提供HBase的面向非主鍵屬性的高效查詢，是目前HBas e急需研究和解決

3、的一個重要問題。
　　論文對HBase非主鍵屬性索引方法進(jìn)行了深入研究，提出了一種分層式索引，其索引存儲模型共分為兩層。首先是第一層索引，實現(xiàn)基于HBase區(qū)域觀察者模式的協(xié)處理器的第一層索引，索引結(jié)構(gòu)采用改進(jìn)的d-left計數(shù)布隆過濾器。通過第一層索引可以避免不必要的數(shù)據(jù)掃描和比較從而快速定位存儲目標(biāo)電子郵件數(shù)據(jù)的相關(guān)區(qū)域。其次是第二層索引，實現(xiàn)基于HBase區(qū)域觀察者模式的協(xié)處理器的第二層索引，索引結(jié)構(gòu)采用倒排索引。通過第二層