基于Lucene垂直搜索引擎的研究與實現(xiàn).pdf

1、隨著Internet和WWW的迅速發(fā)展，Internet上的資源日趨豐富，人們也越來越多地依賴網(wǎng)絡進行學習和研究。為了幫助人們在浩如煙海的網(wǎng)絡中得到有用的信息，基于Internet的各類搜索引擎應運而生并得到了迅速發(fā)展。目前，人們在網(wǎng)絡上搜索信息主要利用百度，Google等通用搜索引擎，這類搜索引擎功能已經(jīng)十分強大，基本可以滿足用戶的需求，但是當用戶搜索一些專業(yè)信息時，這類搜索引擎往往顯得力不從心。垂直搜索引擎的出現(xiàn)，正是為了解決此類問

2、題。 首先，本文論述了垂直搜索引擎的研究意義及體系結(jié)構(gòu)，并深入研究了垂直搜索引擎的核心技術，包括主題相關度的判斷，中文分詞技術，網(wǎng)頁排名技術等。 其次，本文對Lucene開發(fā)包進行深入的學習研究，對比了其本身的中文分詞方法及KTDictSeg分詞方法，采用對中文分詞效果較好的KTDictSeg分詞方法對所提取的內(nèi)容進行分詞。 最后，本文設計并實現(xiàn)了威客任務信息垂直搜索引擎系統(tǒng)，包括主題蜘蛛模塊，信息提取模塊，索引

3、與檢索模塊。在主題蜘蛛模塊采用SharkSearch算法來對未處理的URL進行分析，提高了對主題信息采集的準確度；在信息提取模塊，采用HtmlParser文檔解析方法對采集的頁面進行信息提??；在索引與檢索模塊，針對Lucene中的得分算法沒有很好的體現(xiàn)網(wǎng)頁在網(wǎng)站中的位置信息這一不足，設計了一種改進的解決方案，將文檔的基本得分與文檔在網(wǎng)頁中的位置信息以及文檔本身的特點很好的結(jié)合起來，以提高對搜索結(jié)果排序的準確度，由此增強了搜索的精確度。