分布式JS解析系統(tǒng)的設(shè)計(jì)與構(gòu)建.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)頁的頁面視圖效果越來越美觀，使用的頁面編程技術(shù)也不僅僅局限于HTML、CSS等靜態(tài)語言。以JavaScript為代表的動(dòng)態(tài)腳本由于其功能強(qiáng)大，使界面觀賞程度高等優(yōu)勢越來越受到開發(fā)者和用戶的青睞。但是由于其編寫復(fù)雜程度比傳統(tǒng)的靜態(tài)網(wǎng)頁技術(shù)高，所以在搜索引擎、輿論分析等領(lǐng)域進(jìn)行網(wǎng)頁內(nèi)容抓取和分析的時(shí)候，很難對JavaScript中包含的信息進(jìn)行解析。所以本論文在設(shè)計(jì)并構(gòu)建能夠高效解析網(wǎng)頁中JavaScript的分

2、布式系統(tǒng)時(shí)，能夠完成對存在于HTML文檔中的JavaScript片段進(jìn)行高效的提取和分布式解析的功能，并且在分布式計(jì)算機(jī)集群中合理的進(jìn)行任務(wù)調(diào)度。
　　該論文主要包括兩個(gè)研究方向:首先是對網(wǎng)頁中存在的JavaScript進(jìn)行有效的提取和解析;然后結(jié)合Hadoop分布式計(jì)算技術(shù)，在深入分析現(xiàn)有任務(wù)調(diào)度算法、結(jié)合本系統(tǒng)實(shí)際情況的基礎(chǔ)之上，設(shè)計(jì)本系統(tǒng)在分布式計(jì)算環(huán)境中的任務(wù)調(diào)度算法，合理的進(jìn)行JavaScript解析任務(wù)調(diào)度，實(shí)現(xiàn)對頁面

3、中包含的JavaScript片段的高效解析。通過對JavaScript語法規(guī)則和其在網(wǎng)頁中的存在形式的研究，設(shè)計(jì)了JavaScript的提取流程和算法，然后借鑒瀏覽器解析JavaScript的方法，使用JavaScript解析引擎，構(gòu)造JavaScript解析環(huán)境來實(shí)現(xiàn)第一模塊。通過對現(xiàn)有Map/Reduce任務(wù)調(diào)度算法的研究、分析和對比，并結(jié)合JavaScript解析任務(wù)的具體特點(diǎn)和分布式集群的環(huán)境，探究最適合本系統(tǒng)的Map/Redu

4、ce任務(wù)調(diào)度算法。對JavaScript解析任務(wù)進(jìn)行合理調(diào)度，然后搭建計(jì)算機(jī)集群，對設(shè)計(jì)的分布式JavaScript解析系統(tǒng)進(jìn)行構(gòu)建。最后對分布式JS解析系統(tǒng)進(jìn)行測試，對其應(yīng)用性能和解析準(zhǔn)確性進(jìn)行驗(yàn)證，并且總結(jié)系統(tǒng)的不足，提出后續(xù)改進(jìn)意見。
　　本文實(shí)現(xiàn)的分布式系統(tǒng)能夠?qū)W(wǎng)頁中存在的大量JavaScript進(jìn)行高效、快速的解析。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)能夠?qū)W(wǎng)頁中JavaScript片段內(nèi)包含的文本文字和超鏈接內(nèi)容進(jìn)行高效、準(zhǔn)確的提取