分布式實(shí)時(shí)垂直搜索引擎研究與實(shí)現(xiàn).pdf

1、社交SNS、新聞等領(lǐng)域的高速發(fā)展使得人們愈發(fā)的關(guān)注在最快的時(shí)間內(nèi)獲取實(shí)效數(shù)據(jù)，從中挖掘到有價(jià)值的信息，實(shí)時(shí)搜索因此成為目前信息檢索的研究重點(diǎn)。通用搜索引擎擁有海量網(wǎng)頁(yè)信息集合，更關(guān)注于信息的全面性，Google對(duì)于最新網(wǎng)頁(yè)的索引更新平均耗費(fèi)幾個(gè)小時(shí)，這樣的更新速度很難滿足網(wǎng)民的實(shí)時(shí)搜索需求。垂直搜索引擎專業(yè)領(lǐng)域性強(qiáng)、信息化集中程度高，目前的實(shí)時(shí)搜索研究集中在垂直搜索領(lǐng)域，實(shí)時(shí)垂直搜索針對(duì)特定領(lǐng)域和數(shù)據(jù)源，進(jìn)行信息的快速檢索和展示，為下一

2、步的數(shù)據(jù)挖掘提供堅(jiān)實(shí)的基礎(chǔ)，具有重大的研究?jī)r(jià)值與經(jīng)濟(jì)價(jià)值。
　　 實(shí)時(shí)搜索技術(shù)難點(diǎn)在于增量索引構(gòu)建算法及分布式環(huán)境下的容災(zāi)實(shí)現(xiàn)。本文首先研究了垂直搜索引擎和分布式系統(tǒng)基本工作原理。接著針對(duì)實(shí)時(shí)增量索引構(gòu)建提出了內(nèi)存+磁盤并行化實(shí)時(shí)索引構(gòu)建索引的RSearch算法，RSearch算法采用全量索引寫磁盤保證索引數(shù)據(jù)的一致性與完整性，實(shí)時(shí)增量索引直接寫內(nèi)存保證增量索引即時(shí)展現(xiàn)，內(nèi)存磁盤、寫滿后復(fù)制至磁盤生成從磁盤索引，采用M*N的分布

3、式模型切分大規(guī)模數(shù)據(jù)和滿足高并發(fā)的訪問(wèn)需求，引入CommitLog同志機(jī)制，持久化實(shí)時(shí)索引請(qǐng)求，并設(shè)置Checkpoint異?；貪L時(shí)間點(diǎn)，保證實(shí)時(shí)索引的數(shù)據(jù)容災(zāi)。
　　 在RSearch算法和Solr的基礎(chǔ)上，構(gòu)建了分布式實(shí)時(shí)垂直搜索RSolr系統(tǒng)，并針對(duì)RSolr搜索系統(tǒng)中存在的性能瓶頸如區(qū)間查詢、排序、索引構(gòu)建等性能進(jìn)行了進(jìn)一步優(yōu)化。實(shí)驗(yàn)結(jié)果表明，相比較于Solr系統(tǒng)，RSolr系統(tǒng)在索引構(gòu)建、搜索性能、實(shí)時(shí)展現(xiàn)、數(shù)據(jù)容災(zāi)備