基于領(lǐng)域本體和相似概念背景圖的主題爬行策略研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)中的信息以指數(shù)數(shù)量級的增長，互聯(lián)網(wǎng)中所包含的信息量越來越大，這給人們尋找有用信息帶來了困難，因此一個(gè)高效準(zhǔn)確的用于組織和檢索有用信息的搜索引擎就變得越來越必要。爬行蟲是搜索引擎中的一個(gè)重要組件，它主要用于從網(wǎng)上搜集文檔信息。由于用于通用搜索引擎的爬行蟲耗費(fèi)大量的磁盤空間和網(wǎng)絡(luò)帶寬，并且搜索結(jié)果的準(zhǔn)確率也比較低，因此主題搜索引擎以其智能化、個(gè)性化、領(lǐng)域化、專業(yè)化等特點(diǎn)很快成為了當(dāng)前學(xué)術(shù)界和產(chǎn)業(yè)界研究的熱點(diǎn)。
　　

2、 主題爬行蟲致力于搜集與預(yù)先給定的主題相關(guān)的網(wǎng)頁，而不是遍歷整個(gè)網(wǎng)絡(luò)，它基于這樣的一個(gè)事實(shí)：一個(gè)主題相關(guān)的網(wǎng)頁總趨向于鏈向相同主題的其他網(wǎng)頁。主題爬行蟲需要解決的一個(gè)主要問題就是在爬行過程中如何為未訪問的URLs賦予一個(gè)適當(dāng)?shù)膬?yōu)先級分值以維持比較高的收獲率。為了解決這個(gè)問題，本文提出了一種基于領(lǐng)域本體和形式概念分析技術(shù)的主題爬行策略，該策略首先通過WordNet和概念相關(guān)度構(gòu)建核心相似圖，然后結(jié)合概念格知識構(gòu)建相似概念背景圖，最后結(jié)合U

3、RL對應(yīng)的錨文本與主題的相關(guān)度以及鏈接分析技術(shù)計(jì)算待爬行URLs的優(yōu)先級分值，并最終決定URLs的訪問順序。
　　 論文的主要研究內(nèi)容包括以下幾點(diǎn)：
　　 1.提出了一種度量語義相關(guān)度的方法。語義相關(guān)度是用來衡量文檔或詞語之間語義相關(guān)性的一個(gè)概念，它反映了兩個(gè)對象之間的關(guān)聯(lián)程度。本文借助WordNet領(lǐng)域本體所包含的豐富語義，借鑒了多種度量語義相關(guān)度的方法，并最終總結(jié)出了應(yīng)用于本文的度量語義相關(guān)度的方法。
　　

4、2.提出了一種構(gòu)建相似概念背景圖的方法。本文通過對搜集回的代表爬行主題的基礎(chǔ)網(wǎng)頁和基礎(chǔ)網(wǎng)頁鏈向的當(dāng)前網(wǎng)頁進(jìn)行分析處理后得到的基礎(chǔ)概念格、當(dāng)前概念格以及能描述爬行主題的特征詞集后，首先將特征詞集基于WordNet詞庫進(jìn)行同義詞擴(kuò)展，生成擴(kuò)展特征詞集，然后再使用度量語義相關(guān)度的方法構(gòu)建核心相似圖，最后根據(jù)本文提出的算法利用核心相似圖、基礎(chǔ)概念格和當(dāng)前概念格構(gòu)建相似概念背景圖。
　　 3.提出了一種基于語義鏈接分析和相似概念背景圖的預(yù)

5、測URLs優(yōu)先級分值的策略。錨文本一般是網(wǎng)頁的引用者從另一個(gè)角度對網(wǎng)頁主題進(jìn)行的簡短概述，因此它最能體現(xiàn)網(wǎng)頁的主題。本文提出了一種計(jì)算錨文本和主題相關(guān)度的方法，并結(jié)合上文中生成的相似概念背景圖，提出了一種計(jì)算URLs優(yōu)先級分值的方法，按照優(yōu)先級分值的大小指導(dǎo)主題爬行。
　　 最后，論文利用召回率、recall-precision、F-Measure等三種度量指標(biāo)對比分析了本文提出的主題爬行策略和基于寬度優(yōu)先的爬行策略、基于背景圖