支持Ajax技術(shù)的主題網(wǎng)絡(luò)爬蟲系統(tǒng)研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)爬蟲是搜索引擎的重要組成部分，負(fù)責(zé)互聯(lián)網(wǎng)中數(shù)據(jù)的采集工作。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，越來越多的網(wǎng)站開始應(yīng)用Ajax技術(shù)。Ajax采用異步模式向服務(wù)器發(fā)送請求，并將從服務(wù)器獲取的數(shù)據(jù)動態(tài)顯示在Web頁面，網(wǎng)頁的源文件和URL都不發(fā)生變化。這一技術(shù)的應(yīng)用使得傳統(tǒng)根據(jù)HTML源文件進(jìn)行信息采集的網(wǎng)絡(luò)爬蟲無法采集到動態(tài)信息。Ajax技術(shù)的應(yīng)用領(lǐng)域越來越廣，目前大多數(shù)新聞?wù)军c(diǎn)的新聞評論都采用了Ajax技術(shù)，這些動態(tài)評論信息對輿情的收集具有重要意義。

2、基于Ajax技術(shù)在新聞領(lǐng)域的應(yīng)用，本文研究并設(shè)計(jì)了能夠采集Ajax網(wǎng)頁信息的主題網(wǎng)絡(luò)爬蟲系統(tǒng)，實(shí)現(xiàn)了對新聞?wù)军c(diǎn)的新聞信息以及動態(tài)評論信息的采集。
　　 首先，研究了Ajax網(wǎng)頁動態(tài)信息的采集。通過使用瀏覽器API并模擬用戶行為對網(wǎng)頁元素進(jìn)行操作采集Ajax網(wǎng)頁的動態(tài)信息，基于同一站點(diǎn)同一類型Ajax網(wǎng)頁結(jié)構(gòu)相似性特點(diǎn)，在系統(tǒng)采集主題信息前增加預(yù)處理階段。預(yù)處理階段用來查找Ajax網(wǎng)頁中的有效觸發(fā)元素，并對有效觸發(fā)元素進(jìn)行規(guī)約和模