基于Lucene搜索引擎的中文全文信息檢索技術(shù)的研究.pdf

1、隨著網(wǎng)絡(luò)信息資源的急劇增長(zhǎng)，人們對(duì)于如何快速有效地從海量的網(wǎng)絡(luò)信息中，抽取出對(duì)其有價(jià)值的、潛在的信息，使之能有效地被應(yīng)用在管理和決策中給予了越來越多的關(guān)注。信息檢索技術(shù)幫助用戶從海量的信息中提取出他們所需要的有用信息，節(jié)省了用戶的時(shí)間，提高了用戶的工作效率。信息檢索中的中文檢索與西文檢索在實(shí)現(xiàn)的機(jī)制和原理上基本一致，但由于漢語本身的特點(diǎn)，必須引入對(duì)于中文語言的處理技術(shù)，而中文分詞技術(shù)就是其中很關(guān)鍵的部分。
　　 論文首先闡述了與

2、中文全文信息檢索相關(guān)的關(guān)鍵技術(shù)，包括：信息檢索的概念、中文分詞算法的概念、文檔相關(guān)度排序算法的概念。論文系統(tǒng)地比較分析了四種主要的中文分詞算法：基于字符串匹配的分詞方法、基于理解的分詞方法、基于統(tǒng)計(jì)的分詞方法和基于語義的分詞方法，總結(jié)了它們各自的優(yōu)缺點(diǎn)及其在中文分詞各個(gè)評(píng)價(jià)因素上的優(yōu)劣特性。論文在Lucene原有文檔相關(guān)度排序算法的基礎(chǔ)上，采用了基于用戶行為的二次檢索Pagerank以及主頁(yè)加分方式，改進(jìn)了原有的排序算法。
　　

3、 論文的主要工作是基于Lucene搜索引擎，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)中文全文信息檢索原型系統(tǒng)。提出了對(duì)于算法和系統(tǒng)的各種改進(jìn)，即索引預(yù)處理、關(guān)鍵詞提示的操作優(yōu)化、引入停止詞分詞算法、正向最大匹配算法的改進(jìn)、逆向最大匹配算法的改進(jìn)。通過實(shí)驗(yàn)，將改進(jìn)后的詞典分詞方法與Lucene的自動(dòng)切分方法：一元分詞法和二元分詞法進(jìn)行比較后，驗(yàn)證了基于本文提出的改進(jìn)的詞典分詞方法的優(yōu)勢(shì)。論文采用了基于用戶行為的二次檢索，Pagerank以及主頁(yè)加分方式，改進(jìn)后的