基于Nutch的學(xué)術(shù)搜索引擎的研究與實(shí)現(xiàn).pdf

1、近年來，隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)已經(jīng)從各方面影響著人們的工作和生活。為了更好的使用互聯(lián)網(wǎng)資源，搜索引擎應(yīng)運(yùn)而生。但是傳統(tǒng)的通用搜索引擎存在著網(wǎng)絡(luò)覆蓋率低、查準(zhǔn)率差、錯(cuò)誤導(dǎo)航等諸多問題，因此又出現(xiàn)了針對某一特定領(lǐng)域提供檢索服務(wù)的垂直搜索引擎。在學(xué)術(shù)領(lǐng)域，為了充分利用研究機(jī)構(gòu)與研究人員等通過網(wǎng)絡(luò)共享的大量學(xué)術(shù)資源，有不少針對學(xué)術(shù)領(lǐng)域的垂直搜索引擎也相繼出現(xiàn)。但是，由于更新時(shí)間滯后、瀏覽與下載權(quán)限控制和時(shí)效性較差等原因，目前還沒有出現(xiàn)

2、類似通用的Google搜索引擎那樣使用率非常高的面向?qū)W術(shù)領(lǐng)域的垂直搜索引擎。
　　針對以上實(shí)際情況，本文研究并實(shí)現(xiàn)了一個(gè)新的面向?qū)W術(shù)領(lǐng)域的垂直搜索引擎，基于Nutch實(shí)現(xiàn)的該學(xué)術(shù)搜索引擎能夠?yàn)橛脩籼峁r(shí)效性較強(qiáng)且與主題較相關(guān)的檢索結(jié)果，并通過用戶定制功能保證了系統(tǒng)的更新頻率。本文的主要工作包括以下幾個(gè)方面:
　　(1)為了保證信息搜集范圍的廣泛性，本文的學(xué)術(shù)搜索引擎在爬取模塊采用了全網(wǎng)爬取的方式，這打破了一些面向?qū)W術(shù)領(lǐng)域的搜

3、索引擎僅針對部分學(xué)術(shù)網(wǎng)站進(jìn)行信息搜集的局限性。在全網(wǎng)爬取的前提下，本文為學(xué)術(shù)搜索引擎實(shí)現(xiàn)了主題爬取功能。主題爬取模塊引入了網(wǎng)頁主題相關(guān)性過濾機(jī)制，采用了一種基于語義引力的相似度計(jì)算方法，該算法通過計(jì)算網(wǎng)頁與主題相關(guān)詞的相似程度，來判定網(wǎng)頁與主題的相關(guān)程度。這種在爬取階段就進(jìn)行主題判斷的方式，是目前實(shí)現(xiàn)垂直搜索引擎的最佳方式。全網(wǎng)環(huán)境下的主題爬取模塊的實(shí)現(xiàn)，既保證了所搜集網(wǎng)頁的主題相關(guān)性，又使得本文的學(xué)術(shù)搜索引擎具備了發(fā)現(xiàn)互聯(lián)網(wǎng)中新的主題

4、相關(guān)網(wǎng)站的能力。
　　(2)在解析模塊，本文實(shí)現(xiàn)了基于模板的通用網(wǎng)頁解析器，該解析器克服了解析模板對網(wǎng)頁和網(wǎng)站結(jié)構(gòu)的依賴性，實(shí)現(xiàn)了模板創(chuàng)建過程的半自動(dòng)化，因此它具有一定的通用性。此外，該模板解析器可以通過定制解析來定向收集用戶感興趣的網(wǎng)頁信息（如網(wǎng)頁更新時(shí)間），因此該模板解析器能夠被定制以應(yīng)用于不同的搜索引擎之中。
　　(3)本文成功的完成了Nutch原有的Lucene索引結(jié)構(gòu)的重新構(gòu)建，為學(xué)術(shù)搜索引擎的索引文件添加了自定義

5、的date域，并在檢索模塊實(shí)現(xiàn)了基于該時(shí)間域的排序方法，從而為學(xué)術(shù)搜索引擎添加了按網(wǎng)頁時(shí)效性進(jìn)行檢索的功能。此外，檢索模塊還實(shí)現(xiàn)了綜合考慮網(wǎng)頁內(nèi)容重要性和網(wǎng)頁鏈接重要程度的排序方法，克服了一些面向?qū)W術(shù)領(lǐng)域的搜索引擎在排序方面的不足。
　　(4)用戶定制模塊實(shí)現(xiàn)了管理和配置整個(gè)學(xué)術(shù)搜索引擎的功能，實(shí)現(xiàn)了系統(tǒng)運(yùn)行參數(shù)、種子URL的可視化配置，并允許用戶通過關(guān)鍵詞定制和篩選種子URL。此外，該部分還提供了種子URL推薦功能，用戶可以向?qū)W

6、術(shù)搜索引擎推薦新的種子URL。在配置完成后，用戶可以通過用戶定制模塊直接運(yùn)行學(xué)術(shù)搜索引擎，這種易用性使得用戶可以根據(jù)實(shí)際需要確定系統(tǒng)的更新頻率，從而保證了檢索信息的時(shí)效性。
　　經(jīng)過實(shí)際部署與應(yīng)用的基于Nutch的學(xué)術(shù)搜索引擎取得了預(yù)期的效果，通過分析學(xué)術(shù)搜索引擎的檢索結(jié)果，驗(yàn)證了引擎系統(tǒng)各個(gè)模塊的主要功能。用戶可以通過學(xué)術(shù)搜索引擎檢索到與自己關(guān)注領(lǐng)域更相關(guān)且時(shí)效性更強(qiáng)的資訊信息。同時(shí)，基于Nutch的學(xué)術(shù)搜索引擎還具有良好的擴(kuò)展