支持Ajax的Deep Web爬蟲技術(shù)研究.pdf

1、Deep Web中包含了大量有價值的信息,并且信息量在快速增長。隨著 Web2.0的發(fā)展,越來越多的Deep Web網(wǎng)站開始運用Ajax技術(shù)來改善用戶體驗。但由于Ajax技術(shù)可以異步方式與服務(wù)器交互,實現(xiàn)無刷新的動態(tài)改變頁面內(nèi)容,使得搜索引擎抓取頁面時面臨著巨大的挑戰(zhàn)。傳統(tǒng)爬蟲由于不具備處理Ajax的能力,在爬取此類DeepWeb數(shù)據(jù)時面臨困難,在一定程度上影響信息覆蓋率。然而隨著Ajax技術(shù)的廣泛應(yīng)用,以Ajax為基礎(chǔ)的新一代網(wǎng)絡(luò)信息

2、抽取問題的研究卻將變得越來越重要。因此,研究如何獲取這類應(yīng)用Ajax技術(shù)的Deep Web網(wǎng)站信息成為了本文工作的出發(fā)點。
　　 本文的研究內(nèi)容與成果主要是:
　　 (1)首先對國內(nèi)外Deep Web資源的規(guī)模、結(jié)構(gòu)進(jìn)行了調(diào)查研究,研究表明采用Ajax技術(shù)的Deep Web網(wǎng)站蘊含著豐富的信息資源。縱觀國內(nèi)外對Deep Web資源發(fā)現(xiàn)的新進(jìn)展,目前對這類應(yīng)用Ajax技術(shù)的Deep Web網(wǎng)站研究的非常少。
　　

3、(2)在Deep Web爬蟲體系結(jié)構(gòu)的基礎(chǔ)上,詳細(xì)分析了支持Ajax的Deep Web爬蟲所面臨的困難:Ajax查詢接口的識別、Ajax表單提交、Ajax分頁抓取。基于此,構(gòu)建了支持Ajax的Deep Web爬蟲框架。
　　 (3)對Ajax查詢接口,根據(jù)特征將其分為三種類型。針對三種類型的Ajax查詢接口,分別給出其識別方法與處理模型。最后完成Ajax表單的提交。
　　 (4)基于DOM樹和子樹的相似度,建立了結(jié)果索引