支持Ajax技術(shù)的Deep Web網(wǎng)絡(luò)爬蟲模型研究.pdf

1、快速增長的網(wǎng)絡(luò)信息資源已經(jīng)成為一個巨大的信息寶藏。實際上通用搜索引擎僅能檢索到整個網(wǎng)絡(luò)資源的一小部分信息(稱之為Surface Web),而大部分更有價值的信息資源卻不能夠被通用搜索引擎檢索,這些不能被檢索到的信息就稱為Deep Web。對Deep Web中信息獲取的研究已經(jīng)越來越受到人們的關(guān)注。
　　 在Deep Web中,有相當(dāng)一部分內(nèi)容因為以動態(tài)網(wǎng)頁的形式存在而不能被有效抓取。究其因為是,目前很多網(wǎng)站通過動態(tài)腳本的方式與用

2、戶進行交互,特別是以Ajax為代表的技術(shù)在網(wǎng)站開發(fā)中得到了廣泛應(yīng)用。Ajax技術(shù)改變了傳統(tǒng)的基于靜態(tài)頁面的網(wǎng)站架構(gòu),在提高用戶體驗度的同時,由于其特性如JavaScript事件執(zhí)行、狀態(tài)識別與切換等,導(dǎo)致使用Ajax技術(shù)的網(wǎng)站及其后臺服務(wù)器資源無法被通用網(wǎng)絡(luò)爬蟲抓取,成為了不同于Surface Web的Deep Web資源。針對如何獲取這類使用Ajax技術(shù)的網(wǎng)站信息的問題研究將變得越來越重要,因此,實現(xiàn)此類信息的獲取成為了本文工作的出發(fā)

3、點。本文的主要研究內(nèi)容如下:
　　 (1)研究了通用網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)、工作原理,重點分析其抓取Ajax網(wǎng)頁所面臨的JavaScript執(zhí)行、狀態(tài)識別與切換等問題?；谝陨涎芯?本文提出了一種基于狀態(tài)倉庫的Deep Web網(wǎng)絡(luò)爬蟲(即AjaxFetcher)的體系結(jié)構(gòu)及其基本算法。
　　 (2)該爬蟲通過加入嵌入式瀏覽器的功能,可以模擬執(zhí)行頁面中的JavaScript事件,接受服務(wù)器端的異步響應(yīng),通過分析頁面DOM結(jié)構(gòu)的

4、變化識別新生成的狀態(tài),逐步生成Ajax網(wǎng)站的狀態(tài)倉庫,該狀態(tài)倉庫呈現(xiàn)出了Ajax網(wǎng)站的結(jié)構(gòu)及其各個頁面狀態(tài)信息。
　　 (3)由于在Ajax分頁抓取中對同一個函數(shù)的每次調(diào)用都將導(dǎo)致同樣的服務(wù)器端響應(yīng),本文將包含Ajax請求的JavaScript函數(shù)標(biāo)記為熱點,通過緩存數(shù)據(jù)響應(yīng)策略的方法改進上述基本算法,從而減少與服務(wù)器端通信所帶來的性能損耗。
　　 最后本論文通過設(shè)計對比實驗來驗證提出的新型網(wǎng)絡(luò)爬蟲的有效性,實驗結(jié)果表明