基于Nutch的農(nóng)業(yè)垂直搜索引擎的研究.pdf

1、目前，互聯(lián)網(wǎng)技術(shù)發(fā)展迅速，網(wǎng)絡(luò)信息資源迅速增加，搜索引擎為人們查詢(xún)互聯(lián)網(wǎng)信息提供了極大的便利。在我國(guó)，農(nóng)村人口眾多，農(nóng)業(yè)又是基礎(chǔ)產(chǎn)業(yè)，加快農(nóng)業(yè)信息化的建設(shè)步伐有助于有效的解決“三農(nóng)”問(wèn)題，整合農(nóng)業(yè)信息資源，使我國(guó)農(nóng)業(yè)逐步走向信息農(nóng)業(yè)。有效的解決農(nóng)業(yè)用戶(hù)在生產(chǎn)、生活中遇到的各種農(nóng)業(yè)問(wèn)題，可以促進(jìn)農(nóng)業(yè)信息化的發(fā)展，本文研究和開(kāi)發(fā)了一個(gè)農(nóng)業(yè)領(lǐng)域的搜索引擎。
　　本文是基于開(kāi)源軟件Nutch進(jìn)行開(kāi)發(fā)的。Nutch是一個(gè)基于java語(yǔ)言的開(kāi)

2、源項(xiàng)目，是一個(gè)輕量級(jí)且運(yùn)行穩(wěn)定的搜索引擎，有著較高的查全率和查準(zhǔn)率。不過(guò)，Nutch在網(wǎng)頁(yè)解析方面和摘要提取方面存在不足，不能滿(mǎn)足農(nóng)業(yè)用戶(hù)的搜索要求，本文對(duì)Nutch的這兩個(gè)方面進(jìn)行了改進(jìn)，并實(shí)現(xiàn)了搜索詞的查詢(xún)擴(kuò)展功能。
　　論文的主要工作如下:
　　(1)在網(wǎng)頁(yè)抓取策略中，采用廣度優(yōu)先算法進(jìn)行網(wǎng)頁(yè)信息的抓取，通過(guò)對(duì)爬行層數(shù)進(jìn)行限制，可以盡可能多的抓取農(nóng)業(yè)網(wǎng)站的網(wǎng)頁(yè)信息。
　　(2)在網(wǎng)頁(yè)解析技術(shù)中，采用STU-DOM

3、樹(shù)模型，利用HTML解析器將HTML轉(zhuǎn)換為一棵具有語(yǔ)義屬性的DOM樹(shù)，通過(guò)對(duì)其進(jìn)行結(jié)構(gòu)的過(guò)濾和內(nèi)容的剪枝，保留與主題相關(guān)的節(jié)點(diǎn)信息，實(shí)現(xiàn)網(wǎng)頁(yè)主題信息的提取功能。
　　(3)在摘要提取技術(shù)中，采用基于統(tǒng)計(jì)的摘要提取方法進(jìn)行文本摘要的提取。摘要的提取過(guò)程是以文本的形式特征為基礎(chǔ)的，通過(guò)對(duì)文本進(jìn)行分句，統(tǒng)計(jì)詞頻，計(jì)算出詞的權(quán)重和句子的權(quán)重，從而確定出摘要句，按照摘要句在文本中出現(xiàn)的先后順序，依次輸出，形成最終的摘要，實(shí)現(xiàn)摘要的提取功能。

4、
　　(4)在查詢(xún)擴(kuò)展技術(shù)中，通過(guò)構(gòu)建農(nóng)業(yè)領(lǐng)域本體，實(shí)現(xiàn)對(duì)農(nóng)業(yè)用戶(hù)查詢(xún)?cè)~的擴(kuò)展。首先構(gòu)建農(nóng)業(yè)領(lǐng)域本體，并根據(jù)農(nóng)業(yè)本體中各概念的層次關(guān)系，獲取農(nóng)業(yè)用戶(hù)檢索詞的同義詞、下位詞和實(shí)例等相關(guān)詞，實(shí)現(xiàn)了語(yǔ)義層面的查詢(xún)擴(kuò)展。
　　本文研究和設(shè)計(jì)的基于Nutch的農(nóng)業(yè)垂直搜索引擎在河北省鹽山進(jìn)行了應(yīng)用，結(jié)果表明搜索技術(shù)可以實(shí)現(xiàn)農(nóng)業(yè)信息資源的整合，有效的過(guò)濾了與農(nóng)業(yè)無(wú)關(guān)的網(wǎng)頁(yè)信息，當(dāng)用戶(hù)檢索農(nóng)業(yè)信息時(shí)，本系統(tǒng)能夠?qū)λ阉鹘Y(jié)果進(jìn)行摘要的提取，方