基于PageRank算法的主題爬蟲研究與設計.pdf

1、互聯(lián)網(wǎng)的信息在過去幾年爆炸式的快速增長，這種快速增長和Web的動態(tài)變化特性使得我們在Web上完成有效的信息獲取變得十分重要。網(wǎng)絡爬蟲是一個自動程序，它能有條不紊地通過掃描網(wǎng)頁然后下載經(jīng)由這些網(wǎng)頁鏈接到達的所有頁面。當用戶只需要一些面向主題的信息時，通用網(wǎng)絡爬蟲往往顯得力不從心，因此如何讓用戶只獲取自己感興趣的主題信息變得非常重要。在這種形式下，面向特定主題的主題爬蟲成為了研究熱點。本論文的研究就是圍繞這些熱點技術展開的。
　　

2、本文首先簡單介紹了搜索引擎的分類以及通用搜索引擎的組成部分，論述了主題爬蟲的工作原理以及與通用爬蟲的區(qū)別，研究并探討了主題爬蟲的關鍵技術以及常用的解決方法。
　　 由于主題爬蟲的搜索策略是實現(xiàn)主題搜索引擎的一個重要模塊，它直接決定爬蟲的爬行方向，制約著搜索引擎的工作質量和效率問題，所以本文主要討論主題爬蟲的搜索策略?？紤]到互聯(lián)網(wǎng)上存在的“隧道現(xiàn)象”所導致的很難兼顧查全率和查準率的問題，本文在詳細研究現(xiàn)有搜索策略和PageRank

3、算法的基礎上，把現(xiàn)有的個性化PageRank算法和PageRank下界值等概念運用到主題爬蟲中，提出了一種基于錨文本內(nèi)容和PageRank算法的搜索策略。通過該算法主題爬蟲能夠盡可能多的爬取主題相關且Rank值高的網(wǎng)頁，即在查全率與查準率之間達到較好的平衡。
　　 最后應用本文提出的搜索策略實現(xiàn)了一個簡單的主題爬蟲系統(tǒng)并進行了實驗分析，以開放式分類目錄搜索系統(tǒng)ODP中隨機選擇的主題作為實驗環(huán)境，對廣度優(yōu)先搜索策略、基于錨文本內(nèi)容