面向AJAX腳本網(wǎng)絡(luò)的網(wǎng)頁(yè)爬行及解析技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Web2.0時(shí)代的到來(lái)，具有AJAX異步傳輸特征的動(dòng)態(tài)網(wǎng)站已經(jīng)逐漸成為互聯(lián)網(wǎng)中的主流表現(xiàn)形式。該技術(shù)雖然實(shí)現(xiàn)了與服務(wù)器的異步通信，帶來(lái)了良好的用戶體驗(yàn)，但是卻改變了基于靜態(tài)頁(yè)面的傳統(tǒng)Web站點(diǎn)的架構(gòu)。這導(dǎo)致傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)無(wú)法獲取動(dòng)態(tài)站點(diǎn)中的所有頁(yè)面信息，隱藏在服務(wù)器端的很多數(shù)據(jù)內(nèi)容無(wú)法被獲取并進(jìn)行進(jìn)一步的分析與利用，造成了資源的浪費(fèi)。
　　通過(guò)上述現(xiàn)狀，本文首先分析了AJAX技術(shù)的工作原理與主要特點(diǎn)，以及網(wǎng)頁(yè)分析的核心技術(shù)，構(gòu)建

2、了動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)獲取的模型。在此基礎(chǔ)上，提出了一種基于動(dòng)態(tài)腳本分析的網(wǎng)頁(yè)爬行及解析的方法。該方法首先通過(guò)對(duì)動(dòng)態(tài)頁(yè)面結(jié)構(gòu)與內(nèi)容的解析完成了識(shí)別第三方框架、分類相似站點(diǎn)、確定頁(yè)面事件標(biāo)簽集合、頁(yè)面表單的自動(dòng)填寫等工作。利用Watij模擬用戶操作并通過(guò)內(nèi)嵌Selenium腳本解析器順序執(zhí)行相應(yīng)腳本程序。采用廣度優(yōu)先的頁(yè)面爬行策略、XMLHttpRequest對(duì)象監(jiān)聽(tīng)和DOM樹(shù)結(jié)構(gòu)相似性判斷相結(jié)合的頁(yè)面狀態(tài)判定方式、基于狀態(tài)轉(zhuǎn)換圖的狀態(tài)轉(zhuǎn)換控制方

3、法實(shí)現(xiàn)了動(dòng)態(tài)頁(yè)面的數(shù)據(jù)獲取。通過(guò)路徑存儲(chǔ)倉(cāng)庫(kù)和本地緩存的加入，有效地減少了頁(yè)面重新加載次數(shù)且較好地處理了服務(wù)器端的主動(dòng)數(shù)據(jù)更新。
　　基于該方法的工作原理和處理流程，本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)用于獲取動(dòng)態(tài)網(wǎng)頁(yè)數(shù)據(jù)信息的原型系統(tǒng)。
　　實(shí)驗(yàn)表明，本文提出的算法能夠有效地對(duì)動(dòng)態(tài)網(wǎng)頁(yè)進(jìn)行解析并獲取其中的數(shù)據(jù)信息。對(duì)算法做出的優(yōu)化，使得該算法在不影響數(shù)據(jù)獲取準(zhǔn)確率的情況下，執(zhí)行時(shí)間大大降低，性能較同類型其他算法有顯著提升。本文所實(shí)現(xiàn)的動(dòng)態(tài)