基于Lucene的分布式搜索引擎集群研究與設(shè)計(jì).pdf

1、隨著社會(huì)信息化程度的不斷提高，傳統(tǒng)的基于單機(jī)系統(tǒng)的集中式信息檢索技術(shù)已無(wú)法滿足以大規(guī)模數(shù)據(jù)集為基礎(chǔ)的并發(fā)多用戶并行信息檢索的需求。利用高速網(wǎng)絡(luò)環(huán)境，搭建一個(gè)分布式搜索引擎集群系統(tǒng)，進(jìn)行分布式并行信息檢索，已成為搜索引擎新的發(fā)展趨勢(shì)。
　　信息集合的增大使得系統(tǒng)維護(hù)開(kāi)銷和檢索響應(yīng)時(shí)間越來(lái)越大。為了適應(yīng)現(xiàn)代檢索環(huán)境的越來(lái)越高的要求，檢索體系設(shè)計(jì)和算法優(yōu)化仍然是一個(gè)信息檢索效率優(yōu)化的重要研究方向。
　　本文對(duì)信息檢索系統(tǒng)中涉及的兩

2、個(gè)重大領(lǐng)域：索引和檢索，分別提出了兩種優(yōu)化算法，并在此基礎(chǔ)上衍生出了滿足并行和分布式需求的幾個(gè)不同技術(shù)。在索引方面，針對(duì)單一的RAM索引和FSD索引存在的缺點(diǎn)，采用RAM-FSD協(xié)同索引技術(shù)，并在此基礎(chǔ)上衍生出了RAM-FSD協(xié)同并行索引和RAM-FSD協(xié)同分布式并行索引技術(shù)。在檢索方面，針對(duì)現(xiàn)有線程池的不足，提出了一種新的線程池實(shí)現(xiàn)方式。在此基礎(chǔ)上，提出了線程池優(yōu)化檢索技術(shù)，并衍生出了并行檢索線程池優(yōu)化和分布式并行檢索線程池優(yōu)化技術(shù)。