基于主題策略的網絡爬行器算法研究.pdf

1、隨著互聯網的快速發(fā)展，人們越來越多地通過搜索引擎來實現信息的獲取。從海量數據中獲取信息越來越困難，搜索引擎最核心的技術是網絡爬行器方法，對網絡爬行器的研究、改進成為關鍵。為解決搜索引擎遇到的諸多難題,已經產生了目錄搜索引擎、通用搜索引擎、元搜索引擎、主題搜索引擎、人工智能搜索引擎等研究領域。
　　本論文介紹了搜索引擎的組成及網絡爬行器的主要原理，結合網頁評價方法分析了基于主題策略的網絡爬行器技術和網頁隧道穿越技術，對比闡述分析了現

2、有的網絡爬行器的關鍵算法，如Pagerank算法、HITS算法、Fish Search算法、Shark Search算法、Best First算法、A*算法等。在現有的算法基礎上，提出新的一種評價網頁重要性的方法，將網頁鏈接分析和內容相關度結合起來，構造網頁核心度公式和網頁輻射空間，并嘗試將網頁輻射空間與隧道穿越技術結合起來，并進行了數學推理證明，給出了幾個關于搜索的定理證明，提出了一種基于主題策略的啟發(fā)式搜索蛙跳算法。最后，利用一種通

3、用的主題爬行器搜索策略性能評價系統(tǒng)進行了實驗論證，對比分析了現有算法與啟發(fā)式搜索蛙跳算法性能。
　　本論文創(chuàng)新之處首先在于提出了新的網頁輻射空間的概念，將傳統(tǒng)的網頁重要度計算方法PAGERANK與HITS進行結合，文本內容的相似度計算方法仍然作為分析評估網頁內容的重要手段。網頁核心度具有更加廣泛的意義，相比單一的網頁鏈接數計算或網頁內容相似度計算，雖然計算量增加了，但是搜索范圍卻大大縮小了，搜索精度也相應提高，滿足了主題搜索的性能

4、要求。第二個創(chuàng)新工作是對網頁隧道穿越算法的研究。因為局部信息可能被淹沒在全局信息之中，傳統(tǒng)主題爬行算法沒有區(qū)分全局相關性與局部相關性，將一個訓練好的分類器作用到比其更寬泛的主題網頁上，通常會得到不相關的判斷結果。本論文將網頁隧道穿越分為兩種類型：主題相關隧道穿越（connected tunneling）和主題非相關隧道穿越（non-connected tunneling），并提出了相應的算法。第三個創(chuàng)新之處是將啟發(fā)式搜索A*算法應用到主