垂直搜索引擎中主題爬行技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，傳統(tǒng)的通用搜索引擎逐漸暴露出了覆蓋率低、結(jié)果不準(zhǔn)確等弊端。為了滿足用戶精確搜索的需求，垂直搜索引擎應(yīng)運而生。它利用主題爬行技術(shù)來搜集Web中與某個領(lǐng)域(主題)相關(guān)的網(wǎng)頁，并提供面向該領(lǐng)域的檢索服務(wù)。無疑，主題爬行技術(shù)是垂直搜索引擎的核心部分，直接影響著垂直搜索引擎的性能。本文重點研究了主題描述、候選鏈接優(yōu)先級的預(yù)測和自適應(yīng)的爬行策略等主題爬行中的關(guān)鍵技術(shù)，主要內(nèi)容包括：
　　 (1)提出了一種基于維基百

2、科的主題描述方法。對主題進(jìn)行清晰、準(zhǔn)確的描述是主題爬行器的基礎(chǔ)，主題的描述方式也決定了主題相關(guān)性的計算方式?，F(xiàn)有的算法多采用特征集來描述主題，并通過特征詞的機械匹配來計算主題的相關(guān)性，它不僅忽視了特征詞之間的語義關(guān)系，而且使得特征詞分布過于稀疏，降低了對主題的描述性；也有一些方法引入了本體或語義詞典來分析詞語之間的語義關(guān)聯(lián)，但現(xiàn)有的本體很少，而語義詞典多存在著開放性差、詞匯量有限、更新不及時的缺點。針對這些不足，本文將易于獲取、更新及時

3、、描述客觀的維基百科作為背景知識，根據(jù)分類樹來構(gòu)建主題向量空間，并將主題描述文檔映射成向量來描述主題，并且在相關(guān)性計算時引入了語義分析；同時，利用消歧參照表來解決詞語映射到概念的過程中映射不符合實際或一詞多義的問題。實驗表明，該方法比傳統(tǒng)方法在信息量總和及查準(zhǔn)率上均有顯著提高。
　　 (2)提出了一種基于網(wǎng)頁分塊的候選鏈接優(yōu)先級的預(yù)測方法。候選鏈接的優(yōu)先級預(yù)測決定了主題爬行的方向和結(jié)果，現(xiàn)有算法多根據(jù)頁面內(nèi)容、錨文本和錨文本上下

4、文來預(yù)測候選鏈接的優(yōu)先級，但頁面中含有廣告等噪音數(shù)據(jù)，錨文本上下文難以界定，錨文本包含的信息量也很有限。因此，本文首先基于深度優(yōu)先遍歷對網(wǎng)頁進(jìn)行分塊，過濾掉了部分噪音節(jié)點，再從網(wǎng)頁內(nèi)容文本、塊文本和錨文本三個方面綜合預(yù)測候選鏈接的優(yōu)先級。實驗表明，引入網(wǎng)頁分塊有效改善了主題爬行的性能。
　　 (3)提出了基于信息增益和基于信息量總和比率的兩種自適應(yīng)方法。由于根據(jù)分類樹的概念層次體系所獲得的主題初始描述往往不夠客觀和準(zhǔn)確，所以本文

5、在每爬行一定數(shù)量的網(wǎng)頁后，根據(jù)兩種自適應(yīng)方法對已爬行的所有網(wǎng)頁自動學(xué)習(xí)并反饋更新主題向量空間中每個概念的權(quán)重，從而完善主題描述。實驗表明，兩者都實現(xiàn)了主題的增量爬行；引入基于信息增益的自適應(yīng)方法后爬取的網(wǎng)頁比引入基于信息量總和比率的自適應(yīng)方法后爬取的網(wǎng)頁與主題更加相關(guān)，而基于信息量總和比率的自適應(yīng)方法在總體上則比基于信息增益的自適應(yīng)方法有更高的穩(wěn)定性。
　　 最后，設(shè)計并實現(xiàn)了一個主題爬行的原型系統(tǒng)，并利用該原型系統(tǒng)進(jìn)行了一系列