基于層次優(yōu)化的動(dòng)態(tài)概念背景圖的主題爬行策略研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,人們已經(jīng)習(xí)慣了從網(wǎng)絡(luò)上獲取信息。主題搜索引擎越來越受到學(xué)術(shù)界和企業(yè)界的廣泛關(guān)注。主題搜索引擎主要搜集那些與特定主題相關(guān)的網(wǎng)頁。主題爬蟲是主題搜索引擎的資源采集器,在遍歷網(wǎng)絡(luò)資源的同時(shí)會(huì)對(duì)所采集的網(wǎng)頁與特定主題作相關(guān)度判斷,按照相關(guān)度值的大小為一個(gè)待爬URL指定一個(gè)相應(yīng)的優(yōu)先級(jí)分值。從而可以保證下載相關(guān)網(wǎng)頁而舍棄那些偏離主題的網(wǎng)頁,使搜集回來的結(jié)果更能滿足用戶的需求。
　　本文提出了一種基于最優(yōu)化層次的概念背景圖的

2、主題爬行策略,該策略首先需要用戶向知名搜索引擎提交查詢?cè)~,然后從返回的網(wǎng)頁鏈接挑中選幾個(gè)用戶最滿意的初始網(wǎng)頁,作為本研究的初始種子集。其次,下載種子集對(duì)應(yīng)的網(wǎng)頁并且提取網(wǎng)頁上的特征詞構(gòu)建概念背景圖。然后,在Yahoo!目錄上選擇不同層次的主題進(jìn)行概念背景圖的分層研究。最后,提出了概念背景圖的動(dòng)態(tài)更新方法。
　　論文的主要研究?jī)?nèi)容包括以下幾點(diǎn):
　　1.提出了一種對(duì)傳統(tǒng)概念背景圖進(jìn)行層次優(yōu)化的方法。通過將一個(gè)完整的概念背景圖進(jìn)

3、行分割成不同的子概念背景圖,分別研究每個(gè)子概念背景圖對(duì)網(wǎng)絡(luò)爬蟲的指導(dǎo)性能。
　　2.提出了最優(yōu)概念背景圖的概念。傳統(tǒng)概念背景圖往往包含了相應(yīng)的概念格中的全部概念。這樣就把概念格中的所有概念全部分到傳統(tǒng)概念背景圖的相應(yīng)層次,那些和核心概念有低相關(guān)性的概念就影響了指導(dǎo)性能。
　　3.在最優(yōu)化概念背景圖的基礎(chǔ)上提出了對(duì)概念背景圖進(jìn)行動(dòng)態(tài)更新方法。概念背景圖一般都是根據(jù)初始選中的種子集頁面和頁面相應(yīng)的特征詞進(jìn)行構(gòu)建的。但是,在指導(dǎo)主