動態(tài)網(wǎng)頁的爬蟲構(gòu)建和信息抽取方法研究.pdf

1、隨著Web的迅速發(fā)展，越來越多的網(wǎng)頁可以通過表單提交來獲取，這些表單提交所產(chǎn)生的網(wǎng)頁是由Deep Web后臺數(shù)據(jù)庫動態(tài)產(chǎn)生的，蘊含了大量的信息。如何從Deep Web中快速準確的獲取所需要的信息已成為一個極具現(xiàn)實意義的重大課題，Web信息抽取技術(shù)正是在這樣的背景下應(yīng)運而生。傳統(tǒng)的Web信息抽取工具不包含網(wǎng)頁獲取模塊或僅包含極簡單的網(wǎng)頁獲取模塊，因此對動態(tài)網(wǎng)頁的網(wǎng)絡(luò)爬蟲構(gòu)建及Web信息抽取方法進行研究，具有很高的研究意義和應(yīng)用價值。

2、>　　 本文在國內(nèi)外研究基礎(chǔ)上，進行了一些有益的探索，主要工作包括：
　　 (1)針對傳統(tǒng)網(wǎng)絡(luò)爬蟲的不足，本文提出了一種基于用戶操作解析的爬蟲構(gòu)建方案，通過分析用戶操作記錄和網(wǎng)頁結(jié)構(gòu)，半自動化的構(gòu)建針對不同站點的網(wǎng)絡(luò)爬蟲，實現(xiàn)網(wǎng)頁信息的獲取。
　　 (2)在傳統(tǒng)Web信息抽取技術(shù)的基礎(chǔ)上進行了改進，本文結(jié)合使用DOM技術(shù)以及網(wǎng)頁視覺特征實現(xiàn)網(wǎng)頁信息的定位，使用了多種定位模式來提高信息抽取的健壯性。
　　 (3)