基于語義的主題爬行方向研究.pdf

1、隨著互聯(lián)網(wǎng)信息以指數(shù)級別增長，目前數(shù)字信息已呈現(xiàn)數(shù)量龐大、類型繁多、更新迅速等發(fā)展趨勢。根據(jù)Forrester Research的統(tǒng)計資料，目前全世界數(shù)字信息量每年以數(shù)量級1018節(jié)的速度劇增。在如此類型繁多更新速度之快的形勢下，Web數(shù)據(jù)挖掘已經(jīng)成為現(xiàn)在人們信息獲取的主要方式，搜索引擎成為人們獲取信息的重要工具。但是現(xiàn)在通用搜索引擎抓取信息的速度遠遠落后于真實產(chǎn)生的網(wǎng)頁。著名的Web搜索引擎Google索引的網(wǎng)頁數(shù)量目前已經(jīng)達到80億

2、，然而，這個數(shù)字據(jù)估計只占網(wǎng)頁總量92PT（1PT=106GB）的1/500，并且還在以每天60TB的速度增長。 鑒于此，主題搜索成為研究的熱點。主題搜索通過只抓取互聯(lián)網(wǎng)上與主題相關(guān)的頁面來滿足用戶查詢的需求，它具有花費時間少，所需存儲空間小，能夠滿足用戶個性化需求等優(yōu)勢。其中，爬行策略的研究是主題搜索的焦點，作者在調(diào)研了主題搜索的研究現(xiàn)狀后，發(fā)現(xiàn)大多數(shù)文獻通過分析要爬取頁面的父頁面所在的層次來預(yù)測待爬行URLs的得分，這種策略

3、存在兩個問題，一是沒有計算語義相似度，不能反映和查詢主題的相關(guān)度：二是將一個網(wǎng)頁內(nèi)的所有待爬行URLs一樣看待，沒有考慮它們在網(wǎng)頁中所處的段落主題以及它的上下文。為了解決以上問題，本文提出了基于語義的爬行策略。包括兩個部分，一是通過利用數(shù)學(xué)工具形式概念分析，提出了概念相似背景圖，通過計算概念之間的語義相似度，能夠?qū)ふ遗c用戶主題語義關(guān)聯(lián)度緊密的概念，從而決定爬蟲的爬行順序：二是將Web網(wǎng)頁解析成Dom-Tree結(jié)構(gòu)，結(jié)合文本語義相似度和網(wǎng)

4、頁層次結(jié)構(gòu)對網(wǎng)頁中不同段落的URLs賦予不同的預(yù)測得分。 本文的主要貢獻如下： （1）提出了基于形式概念分析的概念相似背景圖，通過計算背景圖中概念和核心概念的相似度來預(yù)測待爬行URLs的得分。算法的基本思想是利用爬行回來的網(wǎng)頁構(gòu)建形式背景，生成概念格，在概念格中計算概念的相似程度來構(gòu)建概念相似背景圖。和傳統(tǒng)背景圖的主要區(qū)別在于，不只是通過URIs之間的鏈接關(guān)系進行分層，而且利用概念之間的語義相似程度進行層次劃分，通過待爬

5、行URIs所在的層次進行得分預(yù)測，最終決定爬行順序。 （2）提出了基于編輯距離和向量空間模型相結(jié)合的相似度計算方法，傳統(tǒng)的相似度計算方法將段落中的詞條看成相互獨立的，沒有考慮詞條在位置上的依賴關(guān)系，同樣的幾個詞條位置不同表達的意思可能完全不同。算法思想是結(jié)合傳統(tǒng)的向量空間模型和詞條之間的編輯距離來解決自然語言中文本段落之間的相似程度，兩種方法的結(jié)合可以揚長避短，達到更好的效果。 （3）提出了使用Web網(wǎng)頁的內(nèi)部層次結(jié)構(gòu)來

6、計算待爬行URIs預(yù)測得分。一個Web網(wǎng)頁中可能存在多個主題，結(jié)合元數(shù)據(jù)抽取的思想，將Web網(wǎng)頁進行分層，使得每個層次的主題單一化，根據(jù)層次結(jié)構(gòu)，將不同主題的層次段落聯(lián)系起來。文章中將Web網(wǎng)頁解析成為其對應(yīng)的Dom-Tree結(jié)構(gòu)，通過研究歸納層次結(jié)構(gòu)的內(nèi)部特性，并結(jié)合本文提出的相似度計算方法，將網(wǎng)頁中的不同段落聯(lián)系起來，最后根據(jù)URLs所在的段落來計算其預(yù)測得分。 通過實驗和其它幾種爬行策略進行了對比，將結(jié)果進行準確率分析，表