基于概念背景圖的主題爬行策略研究.pdf

1、近年來，隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，互聯(lián)網(wǎng)上的網(wǎng)頁每天都以指數(shù)級別增長，目前數(shù)字信息已呈現(xiàn)數(shù)量龐大、類型繁多、更新迅速等發(fā)展趨勢。在如此類型繁多更新速度之快的形勢下，Web數(shù)據(jù)挖掘已經(jīng)成為現(xiàn)在人們信息獲取的主要方式，搜索引擎成為人們獲取信息的重要工具。但是現(xiàn)在的通用搜索引擎采用窮盡的方式爬行互聯(lián)網(wǎng)上的網(wǎng)頁，這種通用搜索引擎抓取信息的速度遠遠落后于真實產(chǎn)生的網(wǎng)頁。同時，互聯(lián)網(wǎng)信息所具有的海量數(shù)據(jù)、復(fù)雜性、極強的動

2、態(tài)性和用戶的多態(tài)性等特點也給搜索引擎造成了相當(dāng)?shù)碾y度。
　　 因此，面向主題的智能檢索系統(tǒng)應(yīng)運而生并引起了研究者的極大重視。主題搜索引擎的爬行蟲，稱為主題爬行蟲，主題爬行蟲抓取互聯(lián)網(wǎng)上與主題相關(guān)的頁面來滿足用戶查詢的需求，它具有花費時間少，所需存儲空間小，能夠滿足用戶個性化需求等優(yōu)勢。它自動識別主題信息，快速、有選擇地遍歷與主題相關(guān)的區(qū)域并下載網(wǎng)頁，有效地避開與主題無關(guān)的區(qū)域，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。但是對于Web自身

3、復(fù)雜的結(jié)構(gòu)和主題爬行蟲的實時性，如何提高主題爬行蟲的主題識別能力?如何在較短時間內(nèi)下載更多與主題相關(guān)的網(wǎng)頁?如何穿過與主題無關(guān)的網(wǎng)頁到達與用戶興趣主題相關(guān)的網(wǎng)頁?這些都是主題爬行策略需要解決的問題，也是目前主題搜索的研究焦點。
　　 本文對現(xiàn)有的幾種主題爬行策略進行研究，發(fā)現(xiàn)現(xiàn)有的幾種主題爬行策略對待爬行URLs的預(yù)測排序主要還是基于關(guān)鍵詞的，對爬行預(yù)測還是停留在關(guān)鍵詞層面上，沒有做到語義預(yù)測的高度。本文是通過已檢索的網(wǎng)頁的內(nèi)容

4、和鏈接信息來預(yù)測主題爬行的爬行方向。引入形式概念分析，通過計算概念格中概念之間的語義相似度來進行預(yù)測，把主題爬行方向的預(yù)測提高到語義預(yù)測的層面。
　　 本文的主要貢獻如下：
　　 （1）將概念格引用到語義相似度的計算中來，用已經(jīng)爬行到的與主題相關(guān)的網(wǎng)頁構(gòu)建概念格，作為用戶的主題背景信息，再將概念格映射到概念背景圖中，通過計算網(wǎng)頁與背景圖中的概念的語義相似度來預(yù)測待爬行URLs優(yōu)先級。
　　 （2）提出了一種概念背

5、景圖的構(gòu)建方法，傳統(tǒng)的背景圖的構(gòu)建方法有Diligenti在文章[14]中提出的鏈接背景圖（LCG），是完全基于網(wǎng)頁的鏈接關(guān)系的；ChingChiHsu等人在文章[15]中提出的相關(guān)背景圖（RCG），是在網(wǎng)頁之間的鏈接關(guān)系的基礎(chǔ)上增加上一個相似度的計算。本文的方法是在概念格的基礎(chǔ)上，由概念屬性詞之間的關(guān)系把概念格中的每一個概念映射到背景圖中，形成概念背景圖。
　　 （3）提出了一種基于語義分析和鏈接分析相結(jié)合的主題爬行策略。使用