HBase非主鍵屬性索引方法及實(shí)現(xiàn).pdf

1、當(dāng)前，互聯(lián)網(wǎng)正朝著移動(dòng)化進(jìn)一步發(fā)展，社交網(wǎng)絡(luò)等新興內(nèi)容也在不斷興起，人們可以很方便地獲取到想要的信息。正是隨著上述新興內(nèi)容的不斷發(fā)展，業(yè)務(wù)的形態(tài)變得多樣化，每天產(chǎn)生的數(shù)據(jù)也越來(lái)越多。大數(shù)據(jù)有著不可估量的價(jià)值，數(shù)據(jù)間的關(guān)系也在企業(yè)的運(yùn)營(yíng)、決策中發(fā)揮著重要作用。所以研究和尋找有效的大數(shù)據(jù)存儲(chǔ)管理方法，提供實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的大數(shù)據(jù)查詢分析能力，成為一個(gè)亟待解決的問(wèn)題。然而，在大數(shù)據(jù)以及高并發(fā)的數(shù)據(jù)讀寫請(qǐng)求的背景下，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)瓶頸凸顯，已經(jīng)

2、無(wú)法滿足需求。而NoSQ L即非關(guān)系型數(shù)據(jù)庫(kù)能很好地解決上述問(wèn)題，其中HBase（Hadoop Database）是一個(gè)典型應(yīng)用。
　　HBase為大數(shù)據(jù)的存儲(chǔ)管理和查詢分析提供了高效的技術(shù)和平臺(tái)。雖然HBase提供主鍵的高效檢索，然而其對(duì)非主鍵屬性檢索的支持并不是很理想，這導(dǎo)致了HBase的非主鍵屬性查詢效率較低，難以滿足數(shù)據(jù)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的查詢需求。為此，提供HBase的面向非主鍵屬性的高效查詢，是目前HBas e急需研究和解決

3、的一個(gè)重要問(wèn)題。
　　論文對(duì)HBase非主鍵屬性索引方法進(jìn)行了深入研究，提出了一種分層式索引，其索引存儲(chǔ)模型共分為兩層。首先是第一層索引，實(shí)現(xiàn)基于HBase區(qū)域觀察者模式的協(xié)處理器的第一層索引，索引結(jié)構(gòu)采用改進(jìn)的d-left計(jì)數(shù)布隆過(guò)濾器。通過(guò)第一層索引可以避免不必要的數(shù)據(jù)掃描和比較從而快速定位存儲(chǔ)目標(biāo)電子郵件數(shù)據(jù)的相關(guān)區(qū)域。其次是第二層索引，實(shí)現(xiàn)基于HBase區(qū)域觀察者模式的協(xié)處理器的第二層索引，索引結(jié)構(gòu)采用倒排索引。通過(guò)第二層