基于PageRank算法的主題爬蟲(chóng)研究與設(shè)計(jì).pdf

1、互聯(lián)網(wǎng)的信息在過(guò)去幾年爆炸式的快速增長(zhǎng)，這種快速增長(zhǎng)和Web的動(dòng)態(tài)變化特性使得我們?cè)赪eb上完成有效的信息獲取變得十分重要。網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)程序，它能有條不紊地通過(guò)掃描網(wǎng)頁(yè)然后下載經(jīng)由這些網(wǎng)頁(yè)鏈接到達(dá)的所有頁(yè)面。當(dāng)用戶只需要一些面向主題的信息時(shí)，通用網(wǎng)絡(luò)爬蟲(chóng)往往顯得力不從心，因此如何讓用戶只獲取自己感興趣的主題信息變得非常重要。在這種形式下，面向特定主題的主題爬蟲(chóng)成為了研究熱點(diǎn)。本論文的研究就是圍繞這些熱點(diǎn)技術(shù)展開(kāi)的。
　　

2、本文首先簡(jiǎn)單介紹了搜索引擎的分類以及通用搜索引擎的組成部分，論述了主題爬蟲(chóng)的工作原理以及與通用爬蟲(chóng)的區(qū)別，研究并探討了主題爬蟲(chóng)的關(guān)鍵技術(shù)以及常用的解決方法。
　　 由于主題爬蟲(chóng)的搜索策略是實(shí)現(xiàn)主題搜索引擎的一個(gè)重要模塊，它直接決定爬蟲(chóng)的爬行方向，制約著搜索引擎的工作質(zhì)量和效率問(wèn)題，所以本文主要討論主題爬蟲(chóng)的搜索策略。考慮到互聯(lián)網(wǎng)上存在的“隧道現(xiàn)象”所導(dǎo)致的很難兼顧查全率和查準(zhǔn)率的問(wèn)題，本文在詳細(xì)研究現(xiàn)有搜索策略和PageRank

3、算法的基礎(chǔ)上，把現(xiàn)有的個(gè)性化PageRank算法和PageRank下界值等概念運(yùn)用到主題爬蟲(chóng)中，提出了一種基于錨文本內(nèi)容和PageRank算法的搜索策略。通過(guò)該算法主題爬蟲(chóng)能夠盡可能多的爬取主題相關(guān)且Rank值高的網(wǎng)頁(yè)，即在查全率與查準(zhǔn)率之間達(dá)到較好的平衡。
　　 最后應(yīng)用本文提出的搜索策略實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的主題爬蟲(chóng)系統(tǒng)并進(jìn)行了實(shí)驗(yàn)分析，以開(kāi)放式分類目錄搜索系統(tǒng)ODP中隨機(jī)選擇的主題作為實(shí)驗(yàn)環(huán)境，對(duì)廣度優(yōu)先搜索策略、基于錨文本內(nèi)容