倒排索引技術(shù)在Hadoop平臺(tái)上的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，搜索引擎要處理的數(shù)據(jù)量越來(lái)越大，對(duì)搜索引擎的性能要求越來(lái)越高。為了提高信息檢索效率，信息檢索系統(tǒng)一般都采用倒排索引技術(shù)。倒排索引技術(shù)是搜索引擎系統(tǒng)的核心組成部分，它的結(jié)構(gòu)設(shè)計(jì)、存儲(chǔ)方式、查詢操作和動(dòng)態(tài)更新算法的好壞對(duì)信息檢索的效率有很大的影響。同樣為了提高信息檢索的效率，搜索引擎系統(tǒng)中引入了分布式的計(jì)算平臺(tái)，以實(shí)現(xiàn)并行計(jì)算。Hadoop是一種常用的開(kāi)源分布式處理平臺(tái)，已經(jīng)被應(yīng)用到許多系統(tǒng)，并且取得了很好的效果。通過(guò)Ha

2、doop平臺(tái)，能比較方便的進(jìn)行分布式編程，讓計(jì)算并行化，從而提高系統(tǒng)響應(yīng)效率。因此，在Hadoop平臺(tái)上實(shí)現(xiàn)倒排索引技術(shù)對(duì)搜索引擎效率的提高有重要意義。
　　本文利用Hadoop分布式計(jì)算平臺(tái)，使用HDFS文件系統(tǒng)和Map-Reduce的原理，設(shè)計(jì)并實(shí)現(xiàn)了一種基于分布式系統(tǒng)Hadoop的倒排索引結(jié)構(gòu)。這種結(jié)構(gòu)的倒排索引，能夠在一定程度上節(jié)省磁盤(pán)存儲(chǔ)空間，提高信息檢索效率。
　　本文首先研究分析了Hadoop平臺(tái)的系統(tǒng)架構(gòu)、主

3、要組成部分以及其中的兩個(gè)關(guān)鍵技術(shù)—Map-Reduce編程模型和HDFS文件系統(tǒng)的原理；研究了Hadoop中Map-Reduce作業(yè)的提交和任務(wù)的運(yùn)行流程，分析了整個(gè)過(guò)程中數(shù)據(jù)流的走向，以及基于Hadoop的應(yīng)用程序設(shè)計(jì)原理與方法；在分析傳統(tǒng)的倒排索引技術(shù)實(shí)現(xiàn)方案及相關(guān)算法后，驗(yàn)證了在Hadoop平臺(tái)下實(shí)現(xiàn)的可能性倒排索引的可能性。
　　在此基礎(chǔ)上，在Hadoop平臺(tái)下設(shè)計(jì)了一種倒排索引結(jié)構(gòu)，該結(jié)構(gòu)主要由主索引、段索引、刪除索引和

4、詞典庫(kù)等部分組成。然后詳細(xì)介紹了該結(jié)構(gòu)的各組成部分。設(shè)計(jì)了基于詞頻高低和詞頻排名的倒排文件存儲(chǔ)策略，以及倒排項(xiàng)中數(shù)字信息的壓縮編碼方法—綜合編碼壓縮法；設(shè)計(jì)了倒排文件的壓縮格式的選擇。針對(duì)這種倒排索引的結(jié)構(gòu)，設(shè)計(jì)了Map-Reduce方式的倒排索引構(gòu)建算法、基于段索引的倒排索引更新算法、基于刪除索引的倒排索引刪除算法以及基于詞典庫(kù)的倒排索引查詢算法。最后在Hadoop分布式集群環(huán)境編程實(shí)現(xiàn)了以上結(jié)構(gòu)的倒排索引和相關(guān)操作算法，并且進(jìn)行了測(cè)