HBase多列查詢方法研究與優(yōu)化.pdf

1、信息時代的飛速發(fā)展產(chǎn)生了大量的信息數(shù)據(jù)，隨著商業(yè)模式的轉(zhuǎn)變，人們不是簡單地將數(shù)據(jù)保存下來，而是越來越多的認(rèn)識到龐大的數(shù)據(jù)中蘊含著更大的商業(yè)價值，對數(shù)據(jù)處理的方式也發(fā)生了變化。在大數(shù)據(jù)時代，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已不能滿足人們對數(shù)據(jù)處理的需求，而非關(guān)系型數(shù)據(jù)庫以其高吞吐量和高擴展性成為了處理大數(shù)據(jù)的主流數(shù)據(jù)庫。然而非關(guān)系型數(shù)據(jù)庫發(fā)展時間短、技術(shù)不完善，其功能還有一定的欠缺。HBase作為主流的非關(guān)系型數(shù)據(jù)庫，得到了廣泛的應(yīng)用，然而HBase目

2、前只支持基于RowKey的查詢方式，對于非RowKey的查詢，只能使用全表scan的方式，其查詢性能不能滿足需求。
　　本論文的主要工作集中在分析如何提高HBase非RowKey的查詢性能，并設(shè)計一種提高HBase非RowKey查詢性能的方法。使用索引是數(shù)據(jù)庫常用的提高查詢性能的主要方法。為此，本文首先對現(xiàn)有的分布式索引方法進行研究分析。本文將現(xiàn)有的分布式索引方法分為二級索引、基于線性化技術(shù)的索引和雙層索引這三類，并分別對這三類索

3、引方法的典型技術(shù)進行研究，分析其基本思想，總結(jié)了它們的優(yōu)缺點及應(yīng)用場景。根據(jù)對典型索引技術(shù)的優(yōu)缺點及應(yīng)用場景的分析總結(jié)，本文設(shè)計了一種基于預(yù)分區(qū)的HBase二級索引方法。本文對索引的邏輯層和存儲層進行了詳細地設(shè)計，重新設(shè)計了主表數(shù)據(jù)與索引表數(shù)據(jù)在HBase下的存儲分布，并設(shè)計了預(yù)分區(qū)方法來對HBase進一步進行優(yōu)化。為了解決數(shù)據(jù)一致性問題，本文對索引的寫入、更新操作也重新做了設(shè)計。為了降低方法的侵入性，使本文方法能夠在HBase版本迭代