爬蟲技術

1、搜索引擎蜘蛛爬蟲1聚焦爬蟲工作原理及關鍵技術概述網絡爬蟲是一個自動提取網頁的程序，它為搜索引擎從Inter網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據一定的搜索

2、策略從隊列中選擇下一步要抓取的網頁URL，并重復上述過程，直到達到系統的某一條件時停止，另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對于聚焦爬蟲來說，這一過程所得到的分析結果還可能對以后的抓取過程給出反饋和指導。相對于通用網絡爬蟲，聚焦爬蟲還需要解決三個主要問題：(1)對抓取目標的描述或定義；(2)對網頁或數據的分析與過濾；(3)對URL的搜索策略。抓取目標的描述和定義是決定網頁分析

3、算法與URL搜索策略如何制訂的基礎。而網頁分析算法和候選URL排序算法是決定搜索引擎所提供的服務形式和爬蟲網頁抓取行為的關鍵所在。這兩個部分的算法又是緊密相關的。2抓取目標描述現有聚焦爬蟲對抓取目標的描述可分為基于目標網頁特征、基于目標數據模式和基于領域概念3種。基于目標網頁特征的爬蟲所抓取、存儲并索引的對象一般為網站或網頁。根據種子樣本獲取方式可分為：（1）預先給定的初始抓取種子樣本；（2）預先給定的網頁分類目錄和與分類目錄對應的種子

4、樣本，如Yahoo!分類結構等；（3）通過用戶行為確定的抓取目標樣例，分為：a)用戶瀏覽過程中顯示標注的抓取樣本；b)通過用戶日志挖掘得到訪問模式及相關樣本。其中，網頁特征可以是網頁的內容特征，也可以是網頁的鏈接結構特征，等等。現有的聚焦爬蟲對抓取目標的描述或定義可以分為基于目標網頁特征，基于目標數據模式和基于領域概念三種?；谀繕司W頁特征的爬蟲所抓取、存儲并索引的對象一般為網站或網頁。具體的方法根據種子樣本的獲取方式可以分為：（1）預

5、先給定的初始抓取種子樣本；（2）預先給定的網頁分類目錄和與分類目錄對應的種子樣本，如Yahoo!分類結構等；（3）通過用戶行為確定的抓取目標樣例。其中，網頁特征可以是網頁的內容特征，也可以是網頁的鏈接結構特征，等等?；谀繕藬祿Ｊ降呐老x針對的是網頁上的數據，所抓取的數據一般要符合一定的模式，或者可以轉化或映射為目標數據模式。另一種描述方式是建立目標領域的本體或詞典，用于從語義角度分析不同特征在某一主題中的重要程度。58E%259F%2

6、5E7%2590%2586%26meta%3D%26aq%3D0%26oq%3D%25E7%25BD%2591%25E7%25BB%259C%25E8%259C%2598%25E8%259B%259B&frm=0&ga_vid=683910974.1227284925&ga_sid=1232367351&ga_hid=1201078782&ga_fc=true&flash=9.0.124.0&u_h=800&u_w=1280&u_ah=

7、770&u_aw=1280&u_cd=32&u_tz=480&u_java=true&dtd=16“framebder=“0“width=“728“scrolling=“no“height=“90“allowtransparency=“allowtransparency“基于鏈接的抓取的問題是相關頁面主題團之間的隧道現象，即很多在抓取路徑上偏離主題的網頁也指向目標網頁，局部評價策略中斷了在當前路徑上的抓取行為。文獻[21]提出了一種基于

8、反向鏈接（BackLink）的分層式上下文模型（ContextModel），用于描述指向目標網頁一定物理跳數半徑內的網頁拓撲圖的中心Layer0為目標網頁，將網頁依據指向目標網頁的物理跳數進行層次劃分，從外層網頁指向內層網頁的鏈接稱為反向鏈接。4.1.2網站粒度的分析算法網站粒度的資源發(fā)現和管理策略也比網頁粒度的更簡單有效。網站粒度的爬蟲抓取的關鍵之處在于站點的劃分和站點等級(SiteRank)的計算。SiteRank的計算方法與Pag

9、eRank類似，但是需要對網站之間的鏈接作一定程度抽象，并在一定的模型下計算鏈接的權重。網站劃分情況分為按域名劃分和按IP地址劃分兩種。文獻[18]討論了在分布式情況下，通過對同一個域名下不同主機、服務器的IP地址進行站點劃分，構造站點圖，利用類似PageRank的方法評價SiteRank。同時，根據不同文件在各個站點上的分布情況，構造文檔圖，結合SiteRank分布式計算得到DocRank。文獻[18]證明，利用分布式的SiteRan

10、k計算，不僅大大降低了單機站點的算法代價，而且克服了單獨站點對整個網絡覆蓋率有限的缺點。附帶的一個優(yōu)點是，常見PageRank造假難以對SiteRank進行欺騙。4.1.3網頁塊粒度的分析算法在一個頁面中，往往含有多個指向其他頁面的鏈接，這些鏈接中只有一部分是指向主題相關網頁的，或根據網頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒有對這些鏈接作區(qū)分，因此常常給網頁分析帶來廣告等噪聲鏈接的干擾。在網頁塊

11、級別(Blocklevel)進行鏈接分析的算法的基本思想是通過VIPS網頁分割算法將網頁分為不同的網頁塊(pageblock)，然后對這些網頁塊建立pagetoblock和blocktopage的鏈接矩陣，分別記為Z和X。于是，在pagetopage圖上的網頁塊級別的PageRank為Wp=XZ；在blocktoblock圖上的BlockRank為Wb=ZX。已經有人實現了塊級別的PageRank和HITS算法，并通過實驗證明，效率和準

12、確率都比傳統的對應算法要好。4.2基于網頁內容的網頁分析算法基于網頁內容的分析算法指的是利用網頁內容（文本、數據等資源）特征進行的網頁評價。網頁的內容從原來的以超文本為主，發(fā)展到后來動態(tài)頁面（或稱為HiddenWeb）數據為主，后者的數據量約為直接可見頁面數據（PIW，PubliclyIndexableWeb）的400~500倍。另一方面，多媒體數據、WebService等各種網絡資源形式也日益豐富。因此，基于網頁內容的分析算法也從原來