網絡信息采集處理平臺的研究.pdf

1、隨著社會信息化的迅猛發(fā)展，網絡已經成為人們獲取信息的重要來源。而網絡信息具有海量，復雜，非結構化等特點，為網絡信息的獲取以及基于網絡信息搜集的分析與研究工作都帶來了很大困難。網絡信息采集處理平臺整合了網絡信息獲取及處理中的各項關鍵技術，實現了將復雜、非結構化的網絡信息進行整理以及結構化存儲的功能。 本文綜合介紹了B/S架構的網絡信息采集處理平臺設計，構建與實現技術，合理地設計了一整套具有創(chuàng)新性的用于信息采集和信息處理的技術方案。

2、系統(tǒng)描述了方案中的各實現環(huán)節(jié)，具有針對性地解決了網絡信息采集處理平臺中的由網絡信息數據特性所帶來的難題。 本文的主要創(chuàng)新點及研究工作包括：一、將網頁URL分析和匹配技術引入網絡信息處理設計方案中，在基于網頁解析模板進行網頁解析及網頁信息抽取時，用于輔助網頁篩選、網站識別、解析模板選擇和網頁之間聯(lián)系的發(fā)掘，優(yōu)化了網絡信息處理模塊設計，改善了信息處理效率和準確度；二、創(chuàng)新性地提出了基于哈希函數的“抽象特征碼比較法”，用于識別重復網絡

3、信息數據，避免由頁面二次解析帶來的重復數據存入數據庫，通過相關實驗及實驗結果分析，驗證了該方法對于海量網絡信息數據存儲效率有較大程度優(yōu)化。三、在對Nutch爬蟲系統(tǒng)進行深入研究的基礎上，改進Nutch爬蟲系統(tǒng)，進行多線程封裝和配置接口設計，實現了分布，可靈活配置的信息采集模塊。 基于以上研究成果，本文規(guī)劃了網絡信息采集處理平臺的總體框架結構，設計了系統(tǒng)功能模塊邏輯，數據庫結構和用戶界面；應用新型GWT（Google Web To