開源全文檢索引擎的研究和應(yīng)用.pdf

1、隨著因特網(wǎng)的普及和信息技術(shù)的高速發(fā)展，為了從海量的信息中快速、準(zhǔn)確地獲取所需要的信息，信息檢索技術(shù)成了人們關(guān)注的焦點。其中，全文檢索是一種非常高效的信息檢索技術(shù)，它極大地提高了從海量的數(shù)據(jù)中查找特定信息的效率。作為開源組織Apache Jakarta的成員項目，Lucene是一個用java語言實現(xiàn)的高性能、可擴展的信息檢索工具，它可以方便快捷地集成到應(yīng)用程序中以增加索引和搜索的功能。
　　本文首先介紹了全文檢索的研究現(xiàn)狀和關(guān)鍵技術(shù)

2、，然后對Lucene的結(jié)構(gòu)以及分析器原理進行了分析和研究。本文通過對Lucene內(nèi)核分析器的分析和研究，設(shè)計了一個基于HashMap實現(xiàn)的樹形詞庫?；谠摌湫卧~庫設(shè)計了一個類似聯(lián)想方法的正向最大匹配分詞算法。該分詞算法實現(xiàn)了對中文、英文和數(shù)字的切分，并且能對標(biāo)點符號進行過濾。測試結(jié)果表明，本文設(shè)計的分詞模塊MMCAnalyzer與Lucene內(nèi)核包采用的單字切分方法和其擴展包中的二元切分方法相比，該分詞算法具有效率高、分詞準(zhǔn)確率高的優(yōu)勢