lucenesolor簡介

1、WhyLuceneSolr19WhyLuceneSolrJamesTang（james@)1.簡介簡介搜索引擎已經(jīng)為幾乎所有人所熟知，像Google百度這樣的公共搜索引擎幾乎成了日常互聯(lián)網(wǎng)消費品。但搜索引擎背后的技術(shù)很少有人關(guān)心，而搜索引擎技術(shù)也并不像使用Google那樣簡單直接，在Google首頁的輸入框中輸入關(guān)鍵字之后，需要成千上萬的服務(wù)器經(jīng)過多道工序才能返回我們需要的結(jié)果。雖然我們在此并不打算討論Google這樣的復(fù)雜的系統(tǒng)，但搜

2、索引擎的工作基本原理有必要在此討論一下，以為下面的討論提供一點基礎(chǔ)。搜索引擎所涉及到的技術(shù)包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)分析、數(shù)據(jù)處理、數(shù)據(jù)存儲及搜索等，這些技術(shù)統(tǒng)稱為數(shù)據(jù)檢索(InfmationretrievalIR)[1]。搜索引擎的種類眾多，用途各異，但我們這里專注于Web搜索引擎。一個完整的Web搜索引擎由多個部分組成，如圖一所示：圖一搜索引擎基本架構(gòu)圖一中紅色部分是本文討論的重點，也是LuceneSolr的核心，淺藍色部分為應(yīng)用需要考慮的

3、部分。在構(gòu)建文檔階段，需要考慮的主要技術(shù)有分詞（Tokenizing）、停用詞（Stoppingwd）、詞干分析（Stemming）等，這些技術(shù)要素也是我們首要考慮的因素。除此以外，還有鏈接抽取及分析、語義分析、信息分類等技術(shù)是其它公共搜索引擎需要重點考慮的問題。在索引建立階段，主要技術(shù)有文檔統(tǒng)計、權(quán)重、轉(zhuǎn)換（Inversion）等。WhyLuceneSolr39?多服務(wù)器數(shù)據(jù)復(fù)制(Replication)——提供良好QPS（Queri

4、esPerSecond）擴展?內(nèi)容分區(qū)(Sharding)搜索支持——提供良好的容量擴展?支持基于Carrot2[6]的搜索集群服務(wù)?支持擴展插件，如IKAnalyzer?緩存支持（Caching）IKAnalyzer在中文分詞方面主要有以下特性：?采用了特有的“正向迭代最細粒度切分算法“，支持細粒度和智能分詞兩種切分模式?高速中文分詞處理能力?智能分詞模式支持簡單的分詞排歧義處理和數(shù)量詞合并輸出?采用多子處理器分析模式，支持英文字母、

5、數(shù)字、中文詞匯等分詞處理，兼容韓文、日文字符?優(yōu)化的詞典存儲，更小的內(nèi)存占用?支持用戶詞典擴展定義?詞典支持中文，英文，數(shù)字混合詞語3.性能性能由于我們的系統(tǒng)架構(gòu)將采用Solr而不是直接基于Lucene開發(fā)，但Solr核心是Lucene所以Lucene的性能測試也至關(guān)重要。下面是來自第三方[7]的測試結(jié)果可供參考，該結(jié)果不僅對Lucene作了性能測試，還與其它搜索引擎作了對比。圖二為技術(shù)及總體評級。圖二Lucene及其它搜索引擎程序總體