面向主題的網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的飛速發(fā)展，互聯(lián)網(wǎng)成為大量信息的載體，如何有效地采集并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。通用搜索引擎已經(jīng)不能滿足人們對(duì)個(gè)性化信息檢索服務(wù)日益增長(zhǎng)的需要。近年來(lái)，面向主題的搜索引擎應(yīng)運(yùn)而生，以提供分類更細(xì)致精確、數(shù)據(jù)更深入、更新更及時(shí)的因特網(wǎng)搜索服務(wù)。本文著重研究聚焦網(wǎng)絡(luò)爬蟲(chóng)中網(wǎng)頁(yè)分類和搜索策略相關(guān)算法。 本文首先介紹了垂直搜索引擎中聚焦爬蟲(chóng)的發(fā)展概況和相關(guān)技術(shù)，對(duì)聚焦爬蟲(chóng)關(guān)鍵技術(shù)進(jìn)行分析和評(píng)價(jià)，重點(diǎn)介紹了聚焦爬蟲(chóng)中網(wǎng)頁(yè)分類

2、算法和網(wǎng)頁(yè)搜索策略，為本文所設(shè)計(jì)的聚焦爬蟲(chóng)IL-Crawler(IncrementalLearningCrawler)提供理論基礎(chǔ)。 對(duì)于網(wǎng)頁(yè)分類，針對(duì)中文分詞和向量空間模型導(dǎo)致計(jì)算量大、效率低等問(wèn)題，本文從增量學(xué)習(xí)的角度出發(fā)，提出了一種網(wǎng)頁(yè)識(shí)別算法。算法通過(guò)分析網(wǎng)頁(yè)的特征，從HTML標(biāo)簽、URL字符、文本內(nèi)容等方面獲取網(wǎng)頁(yè)特征屬性值，采用機(jī)器學(xué)習(xí)算法建立決策樹(shù)模型，從而避免中文網(wǎng)頁(yè)處理中的中文分詞問(wèn)題。當(dāng)算法的識(shí)別精度低于預(yù)設(shè)

3、閥值時(shí)，在原有網(wǎng)頁(yè)特征中加入誤判網(wǎng)頁(yè)特征，從而更新決策樹(shù)模型以提高模型識(shí)別精度。本文以博客網(wǎng)頁(yè)作為實(shí)驗(yàn)對(duì)象，結(jié)果表明，所提出的算法具有較高的網(wǎng)頁(yè)識(shí)別精度，能夠有效識(shí)別主題網(wǎng)頁(yè)。 對(duì)于網(wǎng)頁(yè)搜索策略，針對(duì)Web的動(dòng)態(tài)性、異構(gòu)性和復(fù)雜性而要求高效搜索策略的問(wèn)題，本文在分析傳統(tǒng)基于重要度優(yōu)先的搜索策略和基于相關(guān)度優(yōu)先的搜索策略基礎(chǔ)上，提出了一種基于多元信息加權(quán)協(xié)調(diào)的搜索策略。由于網(wǎng)頁(yè)的多樣化和靈活性，在有限時(shí)間和硬件資源約束下，采集最大

4、量的主題相關(guān)且重要的網(wǎng)頁(yè)，成為聚焦爬蟲(chóng)最核心的技術(shù)之一。本文在上述網(wǎng)頁(yè)分類算法的基礎(chǔ)上，利用網(wǎng)頁(yè)相關(guān)度預(yù)測(cè)值與網(wǎng)頁(yè)重要度預(yù)測(cè)值進(jìn)行加權(quán)平均，提出了一種主題相關(guān)度優(yōu)先兼顧網(wǎng)頁(yè)重要度的網(wǎng)頁(yè)搜索策略。實(shí)驗(yàn)結(jié)果表明，相對(duì)于單獨(dú)利用重要度或相關(guān)度優(yōu)先的搜索策略，多元信息加權(quán)協(xié)調(diào)的搜索策略具有更好的收獲率。 鑒于以上工作，本文最后基于.NET技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了面向博客領(lǐng)域的聚焦爬蟲(chóng)IL-Crawler，該爬蟲(chóng)具備分布式數(shù)據(jù)采集和增量學(xué)習(xí)能力