面向動(dòng)態(tài)網(wǎng)頁(yè)的定向信息提取模型的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Web2.0技術(shù)的出現(xiàn)以及快速發(fā)展，互聯(lián)網(wǎng)中出現(xiàn)了越來(lái)越多的動(dòng)態(tài)網(wǎng)頁(yè)。Ajax技術(shù)實(shí)現(xiàn)了客戶端與服務(wù)器之間的異步數(shù)據(jù)傳輸操作，不僅提高了用戶的體驗(yàn)度，而且促進(jìn)了動(dòng)態(tài)網(wǎng)頁(yè)的普及和互聯(lián)網(wǎng)的發(fā)展。但是，這也使得依據(jù)HTML源碼進(jìn)行信息提取的傳統(tǒng)網(wǎng)絡(luò)爬蟲無(wú)法提取到動(dòng)態(tài)網(wǎng)頁(yè)中的動(dòng)態(tài)信息。因此，支持動(dòng)態(tài)網(wǎng)頁(yè)的信息提取的研究具有一定的實(shí)踐意義。為此，本文提出了一種面向動(dòng)態(tài)網(wǎng)頁(yè)的定向信息提取模型。
　　首先，分析了與動(dòng)態(tài)網(wǎng)頁(yè)定向信息提取相關(guān)的

2、理論與技術(shù)，同時(shí)將研究對(duì)象Web頁(yè)面分為靜態(tài)網(wǎng)頁(yè)和動(dòng)態(tài)網(wǎng)頁(yè)兩類，并對(duì)其進(jìn)行了詳細(xì)的對(duì)比分析。在此基礎(chǔ)上，分析了動(dòng)態(tài)網(wǎng)頁(yè)廣泛采用的Ajax技術(shù)對(duì)信息提取帶來(lái)的挑戰(zhàn)。最后，對(duì)超文本標(biāo)記語(yǔ)言、DOM模型和正則表達(dá)式在信息提取中的作用進(jìn)行了詳細(xì)介紹。
　　其次，分析了傳統(tǒng)網(wǎng)絡(luò)爬蟲爬取動(dòng)態(tài)網(wǎng)頁(yè)的缺陷和不足，提出了一種面向動(dòng)態(tài)網(wǎng)頁(yè)的定向信息提取模型。其工作流程為首先通過HTTP請(qǐng)求獲取網(wǎng)頁(yè)，然后采用HtmlUnit來(lái)解析與執(zhí)行動(dòng)態(tài)腳本，并模擬

3、提交頁(yè)面表單；最后，利用jsoup構(gòu)建DOM樹，從而提取頁(yè)面信息和URL，并存儲(chǔ)到數(shù)據(jù)庫(kù)中。
　　再次，結(jié)合所提出的面向動(dòng)態(tài)網(wǎng)頁(yè)的定向信息提取模型，給出了各個(gè)組成模塊的具體實(shí)現(xiàn)方法：采用廣度優(yōu)先搜索策略爬取網(wǎng)站中的網(wǎng)頁(yè)，使用布隆過濾器對(duì)URL鏈接進(jìn)行去重處理，利用正則表達(dá)式和jsoup選擇器提取網(wǎng)頁(yè)信息和URL鏈接，并采用多線程爬蟲技術(shù)來(lái)提高該模型的性能。
　　最后，基于所提出的面向動(dòng)態(tài)網(wǎng)頁(yè)的信息提取模型，以燕山大學(xué)百度貼吧