基于HBase的全文索引及檢索技術(shù)的研究.pdf

1、大數(shù)據(jù)時(shí)代的來臨，針對大數(shù)據(jù)的全文檢索技術(shù)成為了研究的熱點(diǎn)。HBase是目前流行的支持海量數(shù)據(jù)實(shí)時(shí)讀寫、支持非結(jié)構(gòu)化存儲(chǔ)的Nosql數(shù)據(jù)庫。但是它只支持基于主鍵的查詢，并不支持全文檢索。如何基于HBase設(shè)計(jì)全文檢索方案，解決全量及增量數(shù)據(jù)索引的創(chuàng)建、存儲(chǔ)，并實(shí)現(xiàn)高效的數(shù)據(jù)檢索是本文研究的重點(diǎn)。
　　通過對現(xiàn)有的信息檢索技術(shù)和HBase的研究，提出了一個(gè)基于HBase的全文檢索的方案。本方案設(shè)計(jì)了在 HBase中創(chuàng)建全量及增量索引

2、的方法，并提出了基于HBase索引表進(jìn)行檢索的技術(shù)方案。首先采用 MapReduce分布式模型創(chuàng)建倒排索引，然后將索引存放至HBase的索引表中，最后設(shè)計(jì)檢索方案來完成對HBase索引表的檢索，并且利用Coprocessor來完成增量數(shù)據(jù)的更新。
　　針對全文檢索的性能進(jìn)一步研究了Hadoop調(diào)優(yōu)、索引存儲(chǔ)和檢索策略的優(yōu)化方案。分析 MapReduce任務(wù)運(yùn)行時(shí)的性能瓶頸，對 Hadoop參數(shù)進(jìn)行調(diào)優(yōu)，提高了任務(wù)執(zhí)行效率；采用壓縮