基于日志分析的增量主題爬蟲研究與實現(xiàn).pdf

1、面對海量的互聯(lián)網(wǎng)信息，傳統(tǒng)搜索引擎在查找主題信息方面日益無法滿足人們的要求，如何幫助人們及時準確地獲取主題信息變得越來越重要，而面向主題搜索引擎技術(shù)正是為此應運而生的。主題搜索引擎是特殊化的搜索引擎，它只面向某一具體的領域或主題，比起傳統(tǒng)搜索引擎能更準確，更廣泛的搜集領域或主題信息。然而如何為領域、主題相關性的判定制定準確的規(guī)則，如何有效的分析過濾無關資源保留相關主題資源，如何擴大對主題資源的搜索的覆蓋度，成了主題爬蟲系統(tǒng)的研究重點。<

2、br>　　 本文首先通過與普通網(wǎng)絡爬蟲工作流程的對比，介紹了主題爬蟲的工作原理，接著詳細介紹了主題爬蟲使用的關鍵技術(shù)，在此基礎上，總結(jié)出影響主題爬蟲準確度與效率的三個主要問題：爬蟲主題表示、網(wǎng)頁主題相關性判斷和爬行策略。在深入分析主題爬蟲關鍵算法的基礎上，提出了一種基于日志分析的改進的網(wǎng)頁主題相關度計算方法。該方法根據(jù)齊次連續(xù)時間馬爾科夫過程的性質(zhì)，通過計算網(wǎng)頁間的轉(zhuǎn)移概率矩陣的平穩(wěn)分布，作為網(wǎng)頁的用戶興趣度估計；結(jié)合網(wǎng)頁分塊算法，分

3、別計算網(wǎng)頁文本塊的文本主題相關度和相關鏈接塊的鏈接關系重要程度。通過綜合文本主題相關度、鏈接重要程度和用戶興趣度這三個因素，提出一種改進的網(wǎng)頁主題相關度計算方法，并通過實驗測試，證明了改進的綜合方法的準確度都高于這三個因素的單一使用。
　　 爬蟲作為搜索引擎的一個重要組成部分，需要長期運行，如何有效地保證本地鏡像的“新鮮度”成為爬蟲研究的一個熱點問題。本文根據(jù)網(wǎng)頁更新符合泊松過程的特點，提出了一種及時同步本地數(shù)據(jù)庫與遠程網(wǎng)站的方