基于JSSh的信息采集技術研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)作為一種新興的媒體,與傳統(tǒng)的報紙、廣播、電視有很大的不同。在互聯(lián)網(wǎng)上,任何人都可以在論壇、留言版、自建站點、博客等上面發(fā)布言論。此外,Web2.0技術的普及,網(wǎng)絡上有越來越多由用戶生成的內(nèi)容(User Generated Content)[1],網(wǎng)民既是信息的受眾,又是信息的傳播者。與報刊和雜志相比,網(wǎng)絡媒體傳播速度快,受眾極廣。我國互聯(lián)網(wǎng)發(fā)展迅速,網(wǎng)民不成熟,如果網(wǎng)絡監(jiān)管缺失或者相關法律不健全,在網(wǎng)絡上很容易出現(xiàn)虛假、反動、暴力

2、的言論,會嚴重影響到和諧社會的建設。當前,網(wǎng)絡監(jiān)管部門重點開展的互聯(lián)網(wǎng)媒體信息監(jiān)管工作[2][3],旨在把握網(wǎng)絡信息動向,引導網(wǎng)絡言論,建設和諧網(wǎng)絡環(huán)境。系統(tǒng)化的網(wǎng)絡信息監(jiān)管工作,主要由信息采集、信息融合和結果呈現(xiàn)三大環(huán)節(jié)共同組成。在信息采集環(huán)節(jié)遇到很多技術挑戰(zhàn)：部分網(wǎng)絡媒體為逃避網(wǎng)絡監(jiān)管,故意發(fā)布難以讓機器識別的內(nèi)容,如豎排文章、文字圖片、動態(tài)網(wǎng)頁,部分網(wǎng)絡媒體發(fā)布內(nèi)容需要授權才能瀏覽。網(wǎng)絡媒體的發(fā)布形式越來越多樣化,其中動態(tài)網(wǎng)頁的比

3、例越來越高,但現(xiàn)有網(wǎng)頁獲取工具,比如Wget、Pavuk等都不能采集動態(tài)網(wǎng)頁。為擴展監(jiān)管對象的范圍,有效地提升網(wǎng)絡媒體監(jiān)管系統(tǒng)的功能,在系統(tǒng)信息采集環(huán)節(jié),需要實現(xiàn)網(wǎng)站自動身份認證,和對動態(tài)網(wǎng)頁的采集。作者受到Web自動化功能測試[4]的啟發(fā),利用JSSh[5](JavaScript Shell Server)提供的腳本交互接口,實現(xiàn)JSSh客戶端與JSSh服務器的通信。JSSh客戶端發(fā)送指令給JSSh服務器,從而操控Firefox瀏覽器

4、完成身份認證表單填寫和認證Cookie交互,實現(xiàn)自動身份認證。另外,成熟的Web瀏覽器都有網(wǎng)頁排版引擎將Web頁面內(nèi)的HTML、CSS、JavaScript等解析和渲染,在用戶端呈現(xiàn)良好的效果。本文利用Firefox網(wǎng)頁排版引擎Gecko解析網(wǎng)頁內(nèi)的動態(tài)腳本,JSSh客戶端從HTML DOM中獲取動態(tài)網(wǎng)頁內(nèi)容以及鏈接地址,成功實現(xiàn)動態(tài)網(wǎng)頁的采集。文章首先闡明本研究工作的意義,然后對身份認證和動態(tài)網(wǎng)頁基礎知識作了介紹。在此基礎上,分別對基