分布式網(wǎng)絡(luò)爬蟲在農(nóng)產(chǎn)品搜索系統(tǒng)中的應(yīng)用與研究.pdf

1、分類號：密級：UDC：學號：416114514065南昌大學專業(yè)學位研究生學位論文分布式網(wǎng)絡(luò)爬蟲在農(nóng)產(chǎn)品搜索系統(tǒng)中的應(yīng)用與研究分布式網(wǎng)絡(luò)爬蟲在農(nóng)產(chǎn)品搜索系統(tǒng)中的應(yīng)用與研究TheApplicationResearchofDistributedWebCrawlerinAgriculturalSearchingSystem袁龍濤培養(yǎng)單位（院、系）：信息工程學院指導(dǎo)教師姓名、職稱：劉捷副教授專業(yè)學位種類：工程碩士專業(yè)領(lǐng)域名稱：計算機技術(shù)論文答辯

2、日期：2016年5月21日答辯委員會主席：評閱人：年月日摘要I摘要摘要在互聯(lián)網(wǎng)信息規(guī)模快速增長的背景下，要想將互聯(lián)網(wǎng)上各種各樣的信息全部涵蓋和收集顯得不太現(xiàn)實，即使是谷歌、百度這樣的搜索引擎公司也只能收集到不到20%的互聯(lián)網(wǎng)信息[1]。通用搜索引擎在人們的生活中起著越來越關(guān)鍵的作用，但是隨著人們需求的多元化，以及通用引擎自身局限性，通常精確的搜索需求得不到滿足。網(wǎng)絡(luò)商品信息繁多，各種農(nóng)產(chǎn)品隨著產(chǎn)地和時間的不同，價格變化大，而且農(nóng)產(chǎn)品交易

3、網(wǎng)站數(shù)量眾多，如何快捷的得到自己感興趣的網(wǎng)絡(luò)農(nóng)產(chǎn)品信息就是一個值得研究的問題了。由于網(wǎng)絡(luò)信息量巨大，即使是農(nóng)產(chǎn)品這樣一個非常狹小的領(lǐng)域，也會涉及到海量的信息。建立一個比價系統(tǒng)首要的就是信息源的選取，在海量信息面前，單機爬蟲顯然是作用有限的。本文提出了將網(wǎng)絡(luò)爬蟲和分布式的系統(tǒng)進行結(jié)合，在多機集群的分布式系統(tǒng)中實現(xiàn)的網(wǎng)絡(luò)爬蟲，從而提高信息下載收集的效率。本文所構(gòu)建的系統(tǒng)是在Nutch這個成熟的搜索引擎架構(gòu)上進行功能化和特性化的改造，使系統(tǒng)可

4、以針對農(nóng)產(chǎn)品的信息建立索引，并提供搜索和查詢功能。由于本文研究的是針對特定領(lǐng)域的商品信息，因此在對商品信息進行搜索和建立索引時，就會涉及到URL的過濾和主題相關(guān)性的判斷問題。我們結(jié)合了HTMLParaser和正則表達式對URL進行過濾，在對網(wǎng)頁的內(nèi)容主題相關(guān)性判定時，借助于空間向量模型。在收集完相關(guān)網(wǎng)頁信息后，在進行建立搜索和搜索服務(wù)提供時，都會涉及到分詞操作，由于Nutch中原有的分詞操作不能夠較好的實現(xiàn)中文分詞，我們選用了對中文分詞

5、支持比較好的IKAnalyzer來完成中文的分詞。索引操作是對于收集到的信息進行一個預(yù)先的組織優(yōu)化，使信息能夠快速的被定位到。Nutch系統(tǒng)中采用的檢索，由Lucene提供的全文檢索系統(tǒng)，對網(wǎng)頁信息進行索引建立，為高效搜索提供支持。最后將基于Nutch的面向農(nóng)產(chǎn)品商品信息的分布式爬蟲系統(tǒng)，進行部署進行實驗驗證，發(fā)現(xiàn)分布式的爬蟲相對于普通爬蟲還是存在著并行的優(yōu)勢。整個系統(tǒng)還能夠很好的對網(wǎng)絡(luò)中農(nóng)產(chǎn)品建立索引并集成這些信息，為用戶提供農(nóng)業(yè)產(chǎn)品