Web信息內(nèi)容變化檢測技術(shù)研究與實現(xiàn).pdf

1、當(dāng)前,World Wide Web已經(jīng)成為世界上最大的、類型最齊全的共享信息的載體。在互聯(lián)網(wǎng)為用戶提供豐富、快捷的信息的同時,也造成了信息過載的問題。World WideWeb中的網(wǎng)頁信息量的指數(shù)速度增長給Web信息提取和搜索引擎等應(yīng)用帶來了巨大的壓力?；ヂ?lián)網(wǎng)中的信息變化頻繁,為了實時地獲取這些信息,需要對這些的變化進(jìn)行檢測,并且隨著互聯(lián)網(wǎng)信息以指數(shù)級形式增長,需要檢測的數(shù)據(jù)的規(guī)模也隨之增加,這對網(wǎng)頁變化檢測算法的效率提出了更高的要求。

2、對Web信息變化檢測技術(shù)的研究具有重要意義。
　　 本文使用基于文檔結(jié)構(gòu)樹比較法作為網(wǎng)頁變化檢測的核心技術(shù),設(shè)計并實現(xiàn)了一個基于DOM結(jié)構(gòu)的Web信息內(nèi)容變化檢測方案。整個方案由檢測信息定制、網(wǎng)頁變化檢測和網(wǎng)頁變化可視化三個部分構(gòu)成。其中本文的關(guān)鍵部分-網(wǎng)頁變化檢測又包括Web頁面預(yù)處理、Web頁面正文定位、Web頁面編碼和網(wǎng)頁變化比較四個部分。檢測信息定制部分是對需要檢測的網(wǎng)頁進(jìn)行設(shè)置；Web頁面預(yù)處理過程中采用開源工具Htm

3、lCleaner對網(wǎng)頁進(jìn)行清洗,并將HTML文檔轉(zhuǎn)化為DOM樹；Web頁面正文定位部分則采用基于文本密度的正文提取方法定位網(wǎng)頁的正文；為了減少網(wǎng)頁的存儲空間和加快后續(xù)的處理速度,Web頁面編碼部分則采用網(wǎng)頁摘要算法對DOM對象進(jìn)行編碼,并將編碼所得的數(shù)組對象和數(shù)組列表對象存儲于數(shù)據(jù)庫中,作為網(wǎng)頁變化檢測部分的歷史數(shù)據(jù),同時根據(jù)可視化顯示歷史網(wǎng)頁的需要,該部分還包含了將PDE集合信息轉(zhuǎn)化為HTML源文檔的功能；網(wǎng)頁變化檢測部分使用基于歷史