動態(tài)頁面數(shù)據(jù)采集方法的研究與分布式實(shí)現(xiàn).pdf

1、當(dāng)前，Web2.0快速發(fā)展，互聯(lián)網(wǎng)上嵌有JavaScript腳本的動態(tài)頁面所占比例越來越大，給頁面數(shù)據(jù)采集工作帶來了很大的困難。在網(wǎng)絡(luò)輿論及搜索引擎研究領(lǐng)域，雖然頁面數(shù)據(jù)采集的主要對象仍然為靜態(tài)頁面，但對動態(tài)頁面中的數(shù)據(jù)進(jìn)行采集的需求越來越迫切了。本文在研究了常用腳本解析環(huán)境、Hadoop分布式計算環(huán)境與分布式網(wǎng)絡(luò)爬蟲原理的基礎(chǔ)上，提出了腳本解析環(huán)境的分布式構(gòu)建方案。該方案將腳本解析環(huán)境嵌入到分布式網(wǎng)絡(luò)爬蟲中，實(shí)現(xiàn)了動態(tài)頁面的數(shù)據(jù)采集。

2、
　　腳本解析環(huán)境的分布式設(shè)計方案包括三部分:腳本解析任務(wù)調(diào)度、腳本解析環(huán)境構(gòu)建和腳本解析實(shí)現(xiàn)。腳本解析任務(wù)調(diào)度部分在研究Hadoop常用調(diào)度算法的基礎(chǔ)上確定了腳本解析任務(wù)的MapReduce調(diào)度算法。腳本解析環(huán)境構(gòu)建部分首先根據(jù)瀏覽器腳本引擎執(zhí)行腳本片段的順序和腳本片段在頁面中的嵌入形式設(shè)計了腳本的解析流程和提取算法，然后提出了常用瀏覽器DOM對象與Rhino腳本解析引擎綁定的設(shè)計方案，完成了腳本解析環(huán)境的構(gòu)建。腳本解析實(shí)現(xiàn)部分