基于領域的網(wǎng)絡爬蟲研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)越來越普及，搜索引擎已經(jīng)成為了人們生活、學習、工作中不可缺少的工具，這些通用搜索引擎給我們提供了強大的信息搜尋功能。然而，隨著信息量的越來越大、用戶使用量增多、需求的日益精化，傳統(tǒng)通用搜索引擎信息檢索不夠深入、搜索結(jié)果與需求不匹配等問題越來越突出。基于領域的垂直搜索引擎應運而生。
　　基于領域的網(wǎng)絡爬蟲，是針對某一個行業(yè)的主題信息進行抓取，故抓取下來的信息都是滿足了特定需求的用戶深入查詢的需求，具有專、精的特點。

2、　　本文首先詳細介紹了現(xiàn)有的搜索引擎種類與現(xiàn)狀，闡述了傳統(tǒng)搜索引擎的不足以及主要的抓取策略與抓取算法，并進一步分析了這些算法的優(yōu)缺點。并闡述了現(xiàn)有的基于領域網(wǎng)絡爬蟲的研究熱點。
　　其次本文對現(xiàn)在流行的開源網(wǎng)絡爬蟲架構(gòu)進行了詳細的介紹，并在此基礎之上選取Heritrix+Lucene搭建了針對手機信息的爬蟲平臺。之后，分析了Heritrix網(wǎng)絡爬蟲的設計結(jié)構(gòu)與擴展點，進行了一些源碼的改進，消除了Heritrix網(wǎng)絡爬蟲的一些設計缺

3、陷。針對傳統(tǒng)搜索引擎的缺點，并比較現(xiàn)有的一些領域主題網(wǎng)絡爬蟲的抓取算法，本文提出全新的基于領域的網(wǎng)絡爬蟲抓取策略。以Shark-Search主題搜索算法為基礎，在利用VSM模型計算文本相似度時引入概念權(quán)重，構(gòu)建基于手機信息領域的本體模型以及語義矩陣。根據(jù)標題、meta、錨文件、上下文等位置信息設置文本結(jié)構(gòu)權(quán)重值，進一步細化了領域主題相似度計算方法。本文結(jié)合PageRank改進的網(wǎng)頁重要度算法考慮到了父頁面的重要度對子頁面的影響，結(jié)合前面