基于Nutch框架下的中小型網(wǎng)絡開源搜索引擎的研究與應用.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的不斷發(fā)展，各種基于企業(yè)和政府內(nèi)網(wǎng)的B/S應用不斷涌現(xiàn)。這些應用由于各種原因如安全、保密等因素不對外網(wǎng)開放，但同時又積累了大量的數(shù)據(jù)。如何讓用戶快速有效地從這些數(shù)據(jù)中獲得想要的信息為越來越多研究者所關(guān)注，針對這些內(nèi)網(wǎng)應用的搜索引擎功能也就應運而生。
　　本文首先對搜索引擎的原理、系統(tǒng)結(jié)構(gòu)等方面做了分析與介紹，然后結(jié)合Nutch開源搜索引擎框架，對搜索引擎涉及到的一些關(guān)鍵技術(shù)進行了研究與分析。在此基礎(chǔ)上本文完成了以

2、下幾方面的工作：
　　1、針對內(nèi)網(wǎng)環(huán)境下多站點信息分布的特點，本文分析了內(nèi)網(wǎng)站點之間的內(nèi)容相關(guān)度(Relevance)、重要性(Authority)以及頁面之間指出的超鏈和新穎程度等因素，改進了原有Nutch爬蟲的算法與爬行策略，從而提高了Nutch爬蟲在內(nèi)網(wǎng)環(huán)境下對多站點信息的搜集處理能力。
　　2、本文采用了Lucene全文索引庫來存儲信息，并利用其完成了檢索功能模塊的設(shè)計，然后針對內(nèi)網(wǎng)索引數(shù)據(jù)量小，用戶類型多的特點對檢

3、索進行了優(yōu)化，從而達到了降低索引存儲時間，提高用戶檢索速度的效果。
　　3、本系統(tǒng)前臺搜索功能使用了J2EE框架下的MVC分層模式來進行設(shè)計開發(fā)。設(shè)計中首先使用Nutch插件獲取索引數(shù)據(jù)并建立模型層，然后結(jié)合Nutch的API與用戶信息模型來開發(fā)業(yè)務層，最終將搜索結(jié)果通過視圖層展示在前臺。另外系統(tǒng)分別從索引、檢索、Web等層面進行緩存，加快了用戶的響應與搜索體驗。
　　4、本系統(tǒng)通過基于用戶的Web訪問信息挖掘技術(shù)實現(xiàn)了搜索