基于網(wǎng)頁內(nèi)容和鏈接的主題爬蟲研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)上的信息量越來越大,傳統(tǒng)搜索引擎的局限性如覆蓋率低、時(shí)效性差、結(jié)果不準(zhǔn)確等已日趨明顯。針對以上情況,另一種搜索引擎悄然出現(xiàn),它可以在一定范圍內(nèi)取得比傳統(tǒng)搜索引擎更令人滿意的結(jié)果,這就是垂直搜索引擎。主題爬蟲是垂直搜索引擎的核心部分。主題爬蟲對網(wǎng)絡(luò)帶寬的利用率、硬件資源的使用以及搜索效率都有重要的影響,因此對主題爬蟲的研究具有重要的意義。
　　 本文首先介紹爬蟲的基本原理,接著討論主題爬蟲的關(guān)鍵技術(shù)如中文分詞,主題判斷的

2、方法以及主題向量的建立等,重點(diǎn)介紹了主題爬蟲的爬行策略。本文詳細(xì)介紹了每類爬行策略的代表算法,并對這些算法的優(yōu)缺點(diǎn)進(jìn)行了分析,并在此基礎(chǔ)上提出了算法改進(jìn)方法。
　　 本文對傳統(tǒng)向量空間模型特征詞的權(quán)值計(jì)算方法進(jìn)行改進(jìn):對文本中不同位置的特征詞賦予不同的權(quán)重;對Hits算法中不合理的鏈接互相加強(qiáng)關(guān)系進(jìn)行了改進(jìn):在擴(kuò)展根集時(shí),如果一個(gè)網(wǎng)站B上有n個(gè)其它網(wǎng)頁指向另外一個(gè)網(wǎng)站上的某個(gè)網(wǎng)頁A時(shí),則將這些鏈接的權(quán)重設(shè)為1/n,其它鏈接的權(quán)重