基于Lucene的中文自然語言搜索引擎.pdf

1、Internet技術(shù)的飛速發(fā)展，信息的發(fā)布與共享超越了時(shí)空的限制，人類進(jìn)入一個(gè)前所未有的“信息爆炸”時(shí)代。互聯(lián)網(wǎng)信息的極速膨脹提供給用戶海量的信息資源的同時(shí)，也帶來了尋找信息的困難。如果沒有一個(gè)強(qiáng)有力的工具來幫助人們尋找、發(fā)掘有用的信息，人們就會(huì)被湮沒在信息的海洋中，迷失方向。搜索引擎正是為了解決網(wǎng)絡(luò)“信息迷航”問題而誕生的技術(shù)。它以一定的策略在因特網(wǎng)中搜集、發(fā)現(xiàn)信息，對(duì)信息進(jìn)行理解、提取、組織和處理，并為用戶提供檢索服務(wù)。它成為連接用

2、戶和互聯(lián)網(wǎng)的最佳紐帶，起到網(wǎng)絡(luò)信息導(dǎo)航的作用。然而由于搜索引擎技術(shù)涉及數(shù)據(jù)庫管理、信息檢索、人工智能、自然語言處理、機(jī)器學(xué)習(xí)等諸多學(xué)科，各商業(yè)公司都不愿意將自己的搜索技術(shù)公布于眾，這使得搜索引擎的應(yīng)用，受到了某種程度的限制。然而，開源工具Lucene的出現(xiàn)，使得搜索引擎開發(fā)者可以簡單、快捷、并且有針對(duì)性地實(shí)現(xiàn)相當(dāng)強(qiáng)大的搜索功能。 首先，本文針對(duì)Lucene中的中文分析器不符合漢語的習(xí)慣，造成檢索查全率、查準(zhǔn)率以及檢索性能不夠理想

3、，實(shí)現(xiàn)基于標(biāo)準(zhǔn)中文詞庫和前向最大匹配算法的中文分析器。實(shí)驗(yàn)證明：該分析器的分詞結(jié)果更符合漢語的習(xí)慣，并且在檢索速度方面性能提升了2-4倍，在檢索召回率方面性能提升了59％。 其次，本文對(duì)用戶查詢接口進(jìn)行改進(jìn)，實(shí)現(xiàn)基于自然語言理解的查詢接口。對(duì)用戶提交的以自然語言表述的問題進(jìn)行分詞處理，去除相關(guān)輔助詞，最后提取出核心詞進(jìn)行查詢。為更準(zhǔn)確對(duì)用戶提交的自然語言進(jìn)行分詞，本文采用兩種相結(jié)合的雙向掃描的方法，再利用利用詞句切分概率對(duì)歧義字

4、段進(jìn)行處理。 另外，本文通過對(duì)網(wǎng)頁相關(guān)度、PageRank算法[1]Lucene評(píng)分系統(tǒng)進(jìn)行研究，提出將PageRank算法引入Lucene評(píng)分系統(tǒng)，讓系統(tǒng)能夠?qū)⒏匾木W(wǎng)頁更好的返回給用戶。同時(shí)利用simhash算法[2]來計(jì)算返回頁面之間的相似度，檢測過濾相似網(wǎng)頁。并且通過對(duì)排序算法的研究，改進(jìn)原有快速排序。 最后，完成自然語言搜索引擎原型系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。原型系統(tǒng)對(duì)上海交通大學(xué)網(wǎng)絡(luò)資源進(jìn)行整合。試驗(yàn)證明，改原型系統(tǒng)