農(nóng)產(chǎn)品價(jià)格主題搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，面對(duì)龐大雜亂的網(wǎng)絡(luò)信息，人們從中獲取信息變得越來(lái)越艱難，而搜索引擎的出現(xiàn)為人們從互聯(lián)網(wǎng)獲取信息打開(kāi)了一個(gè)新的窗口。搜索引擎是指按照特定的算法從因特網(wǎng)上獲取數(shù)據(jù)的計(jì)算機(jī)程序，它對(duì)數(shù)據(jù)進(jìn)行處理后，提供給用戶查詢使用。互聯(lián)網(wǎng)上的數(shù)據(jù)浩瀚如煙、雜亂無(wú)章，用戶想要從中找出自己想要的信息異常艱難，而搜索引擎就如黑夜里的燈塔，為用戶指引方向。
　　主題搜索引擎是針對(duì)特定領(lǐng)域的搜索引擎，是通用搜索引擎的分支，是對(duì)互聯(lián)網(wǎng)上某類(lèi)

2、頁(yè)面的整合，抽取出該領(lǐng)域需要的信息，并將這些信息以結(jié)果頁(yè)面的形式返回給用戶的系統(tǒng)。主題搜索引擎能夠在特定行業(yè)給用戶提供更好的體驗(yàn)，而且具有專(zhuān)業(yè)性強(qiáng)、成本低、針對(duì)性強(qiáng)等特點(diǎn)。
　　農(nóng)業(yè)搜索引擎是主題搜索引擎的一種，是國(guó)家農(nóng)業(yè)信息化發(fā)展的一個(gè)重要部分，但使用現(xiàn)有的農(nóng)業(yè)搜索引擎對(duì)農(nóng)產(chǎn)品價(jià)格進(jìn)行檢索時(shí)，返回的信息多為農(nóng)產(chǎn)品交易信息，雖然提供了便捷的交易平臺(tái)，卻不適合農(nóng)業(yè)生產(chǎn)者分析行情。鑒于此現(xiàn)狀，本文借鑒了國(guó)內(nèi)外學(xué)者對(duì)主題搜索引擎的最新研

3、究成果，并對(duì)與農(nóng)業(yè)相關(guān)的搜索引擎進(jìn)行了研究，設(shè)計(jì)了面向農(nóng)產(chǎn)品價(jià)格的主題搜索引擎。
　　本文的主要工作如下。
　　(1)研究了農(nóng)業(yè)相關(guān)搜索引擎的功能，發(fā)現(xiàn)使用現(xiàn)有農(nóng)業(yè)搜索引擎對(duì)農(nóng)產(chǎn)品價(jià)格進(jìn)行檢索時(shí)，返回結(jié)果更多的是農(nóng)業(yè)交易信息，不便于農(nóng)業(yè)工作者從中獲取信息，因此本文提出了農(nóng)產(chǎn)品價(jià)格主題搜索引擎，便于農(nóng)業(yè)工作者更加快捷地獲取農(nóng)產(chǎn)品價(jià)格的相關(guān)信息;
　　(2)分析了近年農(nóng)業(yè)搜索引擎的研究成果，研究了主題搜索引擎的關(guān)鍵技術(shù)和算

4、法，根據(jù)頁(yè)面的父網(wǎng)頁(yè)、兄弟網(wǎng)頁(yè)和頁(yè)面描述信息對(duì)主題相關(guān)度進(jìn)行了預(yù)判，并使用主題相關(guān)度預(yù)判算法對(duì)爬蟲(chóng)抓取策略提出了改進(jìn);
　　(3)使用HttpClient和htmlparser為本系統(tǒng)量身定做了一個(gè)功能全面、結(jié)構(gòu)清晰的主題網(wǎng)絡(luò)爬蟲(chóng)，爬蟲(chóng)使用本文提出主題相關(guān)度預(yù)判算法來(lái)決定是否下載頁(yè)面，提高了爬蟲(chóng)的抓取效率;
　　(4)利用農(nóng)產(chǎn)品價(jià)格樣本得到一個(gè)SVM分類(lèi)器，將SVM分類(lèi)器的支持向量SV作為KNN分類(lèi)器的訓(xùn)練樣本，構(gòu)建一個(gè)基于