基于LSM-Tree的HBase數(shù)據(jù)庫分布式索引研究.pdf

1、面對大數(shù)據(jù)的蓬勃發(fā)展，通過探究和尋找高效的大數(shù)據(jù)存儲管理辦法，以提供實時或準時的大數(shù)據(jù)查詢和分析能力，已經(jīng)作為一個非常值得研究的課題。NoSql正好適應(yīng)于解決大數(shù)據(jù)背景下高并發(fā)的數(shù)據(jù)讀寫問題，其中HBase就是一個典型應(yīng)用。HBase為大數(shù)據(jù)的存儲和查詢提供了高效的技術(shù)和平臺，但是HBase只有面向主鍵列的查詢，然而很多情況下需要非主鍵查詢，來滿足實時或準時查詢。因此，研究HBase的非主鍵查詢性能成為一個值得研究的課題。
　　本

2、文對HBase的非主鍵索引方法進行了深入研究，設(shè)計并實現(xiàn)了一種基于LSM-Tree的分布式索引方案。該索引方案采取讀寫分離、批量更新的方法，將基線數(shù)據(jù)的索引數(shù)據(jù)持久化存儲，在內(nèi)存中完成數(shù)據(jù)的增加、刪除、修改等更新操作，并將查詢頻率高的數(shù)據(jù)的索引緩存在內(nèi)存中。本文對訪問過的數(shù)據(jù)進行熱度累積，把熱度值進行排序，存儲在緩存中，通過這種熱度累積的緩存替換策略來改善緩存的查詢性能。通過熱度累積的緩存替換策略，獲得了優(yōu)于LRU的緩存查詢效率，進一步

3、改善了HBase上非主鍵查詢的查詢性能。主要解決了以下幾個方面的問題:解決了基于LSM-Tree架構(gòu)對海量數(shù)據(jù)的索引構(gòu)建問題;設(shè)計了基于LSM-Tree架構(gòu)的索引維護和查詢策略;在HBase數(shù)據(jù)庫上驗證索引的可行性和正確性?；贚SM-Tree分布式索引構(gòu)建的時間開銷是完全可以接受的，雖然空間開銷約占用戶表的50％，但是達到數(shù)十倍、數(shù)百倍以上的查詢性能上的提升是完全值得的。相比標準的HBase數(shù)據(jù)非主鍵查詢，本文的索引結(jié)構(gòu)設(shè)計使查詢效率