基于概念背景圖的主題爬行策略研究.pdf

1、近年來(lái)，隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，互聯(lián)網(wǎng)上的網(wǎng)頁(yè)每天都以指數(shù)級(jí)別增長(zhǎng)，目前數(shù)字信息已呈現(xiàn)數(shù)量龐大、類(lèi)型繁多、更新迅速等發(fā)展趨勢(shì)。在如此類(lèi)型繁多更新速度之快的形勢(shì)下，Web數(shù)據(jù)挖掘已經(jīng)成為現(xiàn)在人們信息獲取的主要方式，搜索引擎成為人們獲取信息的重要工具。但是現(xiàn)在的通用搜索引擎采用窮盡的方式爬行互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，這種通用搜索引擎抓取信息的速度遠(yuǎn)遠(yuǎn)落后于真實(shí)產(chǎn)生的網(wǎng)頁(yè)。同時(shí)，互聯(lián)網(wǎng)信息所具有的海量數(shù)據(jù)、復(fù)雜性、極強(qiáng)的動(dòng)

2、態(tài)性和用戶(hù)的多態(tài)性等特點(diǎn)也給搜索引擎造成了相當(dāng)?shù)碾y度。
　　 因此，面向主題的智能檢索系統(tǒng)應(yīng)運(yùn)而生并引起了研究者的極大重視。主題搜索引擎的爬行蟲(chóng)，稱(chēng)為主題爬行蟲(chóng)，主題爬行蟲(chóng)抓取互聯(lián)網(wǎng)上與主題相關(guān)的頁(yè)面來(lái)滿(mǎn)足用戶(hù)查詢(xún)的需求，它具有花費(fèi)時(shí)間少，所需存儲(chǔ)空間小，能夠滿(mǎn)足用戶(hù)個(gè)性化需求等優(yōu)勢(shì)。它自動(dòng)識(shí)別主題信息，快速、有選擇地遍歷與主題相關(guān)的區(qū)域并下載網(wǎng)頁(yè)，有效地避開(kāi)與主題無(wú)關(guān)的區(qū)域，為面向主題的用戶(hù)查詢(xún)準(zhǔn)備數(shù)據(jù)資源。但是對(duì)于Web自身

3、復(fù)雜的結(jié)構(gòu)和主題爬行蟲(chóng)的實(shí)時(shí)性，如何提高主題爬行蟲(chóng)的主題識(shí)別能力?如何在較短時(shí)間內(nèi)下載更多與主題相關(guān)的網(wǎng)頁(yè)?如何穿過(guò)與主題無(wú)關(guān)的網(wǎng)頁(yè)到達(dá)與用戶(hù)興趣主題相關(guān)的網(wǎng)頁(yè)?這些都是主題爬行策略需要解決的問(wèn)題，也是目前主題搜索的研究焦點(diǎn)。
　　 本文對(duì)現(xiàn)有的幾種主題爬行策略進(jìn)行研究，發(fā)現(xiàn)現(xiàn)有的幾種主題爬行策略對(duì)待爬行URLs的預(yù)測(cè)排序主要還是基于關(guān)鍵詞的，對(duì)爬行預(yù)測(cè)還是停留在關(guān)鍵詞層面上，沒(méi)有做到語(yǔ)義預(yù)測(cè)的高度。本文是通過(guò)已檢索的網(wǎng)頁(yè)的內(nèi)容

4、和鏈接信息來(lái)預(yù)測(cè)主題爬行的爬行方向。引入形式概念分析，通過(guò)計(jì)算概念格中概念之間的語(yǔ)義相似度來(lái)進(jìn)行預(yù)測(cè)，把主題爬行方向的預(yù)測(cè)提高到語(yǔ)義預(yù)測(cè)的層面。
　　 本文的主要貢獻(xiàn)如下：
　　 （1）將概念格引用到語(yǔ)義相似度的計(jì)算中來(lái)，用已經(jīng)爬行到的與主題相關(guān)的網(wǎng)頁(yè)構(gòu)建概念格，作為用戶(hù)的主題背景信息，再將概念格映射到概念背景圖中，通過(guò)計(jì)算網(wǎng)頁(yè)與背景圖中的概念的語(yǔ)義相似度來(lái)預(yù)測(cè)待爬行URLs優(yōu)先級(jí)。
　　 （2）提出了一種概念背

5、景圖的構(gòu)建方法，傳統(tǒng)的背景圖的構(gòu)建方法有Diligenti在文章[14]中提出的鏈接背景圖（LCG），是完全基于網(wǎng)頁(yè)的鏈接關(guān)系的；ChingChiHsu等人在文章[15]中提出的相關(guān)背景圖（RCG），是在網(wǎng)頁(yè)之間的鏈接關(guān)系的基礎(chǔ)上增加上一個(gè)相似度的計(jì)算。本文的方法是在概念格的基礎(chǔ)上，由概念屬性詞之間的關(guān)系把概念格中的每一個(gè)概念映射到背景圖中，形成概念背景圖。
　　 （3）提出了一種基于語(yǔ)義分析和鏈接分析相結(jié)合的主題爬行策略。使用