基于Lucene的中文分詞技術研究與實現.pdf

1、信息技術的快速發(fā)展推動了互聯網的信息的不斷豐富和搜索引擎技術的加速發(fā)展，作為信息檢索之一的中文分詞技術顯得尤為重要，中文分詞技術促進了全文檢索技術的發(fā)展。Lucene便是隨著這一過程而產生發(fā)展的。Lucene是由apache公司開發(fā)的一個開源工具包，其目的是為了實現全文檢索。但在具體的實現上，它仍有很多改進的地方，尤其是在對中文信息的處理上。所以本文的研究重點是Lucene的中文分詞技術。
　　在對Lucene進行深入研究后，本文

2、提出Lucene的字符串匹配的改進算法——正向最大增字匹配算法，該算法分詞結果更加準確，在此基礎上，下文構造一種Lucene的分析器MyChAnalzyer，該分析器的核心模塊是基于詞前綴的哈希逐字匹配算法的中文分詞器，通過多種方法測試該分析器的分詞性能，主要考察分詞速度和分詞精度兩個方面，其中，分詞精度方面又通過兩種測試方案來測試。從實驗的結果來看準確率比lucene自帶的分析器有較大的提高。本文最后一章提出改進的排序結果算法，該算法