網(wǎng)絡(luò)信息采集處理平臺的研究.pdf

1、隨著社會信息化的迅猛發(fā)展，網(wǎng)絡(luò)已經(jīng)成為人們獲取信息的重要來源。而網(wǎng)絡(luò)信息具有海量，復(fù)雜，非結(jié)構(gòu)化等特點，為網(wǎng)絡(luò)信息的獲取以及基于網(wǎng)絡(luò)信息搜集的分析與研究工作都帶來了很大困難。網(wǎng)絡(luò)信息采集處理平臺整合了網(wǎng)絡(luò)信息獲取及處理中的各項關(guān)鍵技術(shù)，實現(xiàn)了將復(fù)雜、非結(jié)構(gòu)化的網(wǎng)絡(luò)信息進行整理以及結(jié)構(gòu)化存儲的功能。 本文綜合介紹了B/S架構(gòu)的網(wǎng)絡(luò)信息采集處理平臺設(shè)計，構(gòu)建與實現(xiàn)技術(shù)，合理地設(shè)計了一整套具有創(chuàng)新性的用于信息采集和信息處理的技術(shù)方案。

2、系統(tǒng)描述了方案中的各實現(xiàn)環(huán)節(jié)，具有針對性地解決了網(wǎng)絡(luò)信息采集處理平臺中的由網(wǎng)絡(luò)信息數(shù)據(jù)特性所帶來的難題。 本文的主要創(chuàng)新點及研究工作包括：一、將網(wǎng)頁URL分析和匹配技術(shù)引入網(wǎng)絡(luò)信息處理設(shè)計方案中，在基于網(wǎng)頁解析模板進行網(wǎng)頁解析及網(wǎng)頁信息抽取時，用于輔助網(wǎng)頁篩選、網(wǎng)站識別、解析模板選擇和網(wǎng)頁之間聯(lián)系的發(fā)掘，優(yōu)化了網(wǎng)絡(luò)信息處理模塊設(shè)計，改善了信息處理效率和準確度；二、創(chuàng)新性地提出了基于哈希函數(shù)的“抽象特征碼比較法”，用于識別重復(fù)網(wǎng)絡(luò)

3、信息數(shù)據(jù)，避免由頁面二次解析帶來的重復(fù)數(shù)據(jù)存入數(shù)據(jù)庫，通過相關(guān)實驗及實驗結(jié)果分析，驗證了該方法對于海量網(wǎng)絡(luò)信息數(shù)據(jù)存儲效率有較大程度優(yōu)化。三、在對Nutch爬蟲系統(tǒng)進行深入研究的基礎(chǔ)上，改進Nutch爬蟲系統(tǒng)，進行多線程封裝和配置接口設(shè)計，實現(xiàn)了分布，可靈活配置的信息采集模塊。 基于以上研究成果，本文規(guī)劃了網(wǎng)絡(luò)信息采集處理平臺的總體框架結(jié)構(gòu)，設(shè)計了系統(tǒng)功能模塊邏輯，數(shù)據(jù)庫結(jié)構(gòu)和用戶界面；應(yīng)用新型GWT（Google Web To