Deep Web網(wǎng)絡蜘蛛研究與初步設計.pdf

1、目前隨著Internet信息的爆炸增長，Web服務器上數(shù)據(jù)信息已經被大量可搜索的在線數(shù)據(jù)庫極大的“深化”，傳統(tǒng)搜索引擎已經不能有效檢索到隱藏在Web服務器后臺在線數(shù)據(jù)庫中的Deep Web信息。如何快速有效獲取Deep Web信息正成為搜索引擎研究的熱點和和發(fā)展趨勢。 本文重點對網(wǎng)絡蜘蛛(Spider or crawler)的研究和改進，以及Deep Web信息提取涉及到的相關技術和算法問題，設計和實現(xiàn)了一個Deep Web網(wǎng)絡

2、蜘蛛。論文的主要工作包括以下幾個方面： 1.分析了傳統(tǒng)搜索引擎的設計思想、工作原理和體系結構，從而發(fā)現(xiàn)傳統(tǒng)搜索引擎在技術上存在的缺陷、不足之處和可改進的地方。 2.分析了Deep Web信息集成系統(tǒng)的工作原理和體系結構，并簡要說明Deep Web信息集成系統(tǒng)工作流程，系統(tǒng)組成模塊中各個模塊的功能。 3.在以上相關理論和研究結果的基礎上，提出了本文中設計Deep Web網(wǎng)絡蜘蛛的思想、體系結構和工作流程。

3、4.針對網(wǎng)頁采集問題，提出有選擇的采集網(wǎng)頁類型策略和控制重復網(wǎng)頁采集策略，有效地過濾了噪音信息和重復網(wǎng)頁抓取問題。 5.針對從靜態(tài)網(wǎng)頁中提取Deep Web數(shù)據(jù)庫查詢接口問題，提出通過分析網(wǎng)頁構建網(wǎng)頁標記樹模型，通過遍歷網(wǎng)頁標記樹來尋找查詢接口。提出用對象模型表示(DWI)查詢接口和存儲表單數(shù)據(jù)，為后續(xù)查詢接口合并與分類提供有效的數(shù)據(jù)表示模型和良好的存儲結構，并給出具體實現(xiàn)算法。 6.針對Deep Web查詢接口合并與分