網(wǎng)絡(luò)信息采集處理平臺(tái)的研究.pdf

1、隨著社會(huì)信息化的迅猛發(fā)展，網(wǎng)絡(luò)已經(jīng)成為人們獲取信息的重要來(lái)源。而網(wǎng)絡(luò)信息具有海量，復(fù)雜，非結(jié)構(gòu)化等特點(diǎn)，為網(wǎng)絡(luò)信息的獲取以及基于網(wǎng)絡(luò)信息搜集的分析與研究工作都帶來(lái)了很大困難。網(wǎng)絡(luò)信息采集處理平臺(tái)整合了網(wǎng)絡(luò)信息獲取及處理中的各項(xiàng)關(guān)鍵技術(shù)，實(shí)現(xiàn)了將復(fù)雜、非結(jié)構(gòu)化的網(wǎng)絡(luò)信息進(jìn)行整理以及結(jié)構(gòu)化存儲(chǔ)的功能。 本文綜合介紹了B/S架構(gòu)的網(wǎng)絡(luò)信息采集處理平臺(tái)設(shè)計(jì)，構(gòu)建與實(shí)現(xiàn)技術(shù)，合理地設(shè)計(jì)了一整套具有創(chuàng)新性的用于信息采集和信息處理的技術(shù)方案。

2、系統(tǒng)描述了方案中的各實(shí)現(xiàn)環(huán)節(jié)，具有針對(duì)性地解決了網(wǎng)絡(luò)信息采集處理平臺(tái)中的由網(wǎng)絡(luò)信息數(shù)據(jù)特性所帶來(lái)的難題。 本文的主要?jiǎng)?chuàng)新點(diǎn)及研究工作包括：一、將網(wǎng)頁(yè)URL分析和匹配技術(shù)引入網(wǎng)絡(luò)信息處理設(shè)計(jì)方案中，在基于網(wǎng)頁(yè)解析模板進(jìn)行網(wǎng)頁(yè)解析及網(wǎng)頁(yè)信息抽取時(shí)，用于輔助網(wǎng)頁(yè)篩選、網(wǎng)站識(shí)別、解析模板選擇和網(wǎng)頁(yè)之間聯(lián)系的發(fā)掘，優(yōu)化了網(wǎng)絡(luò)信息處理模塊設(shè)計(jì)，改善了信息處理效率和準(zhǔn)確度；二、創(chuàng)新性地提出了基于哈希函數(shù)的“抽象特征碼比較法”，用于識(shí)別重復(fù)網(wǎng)絡(luò)

3、信息數(shù)據(jù)，避免由頁(yè)面二次解析帶來(lái)的重復(fù)數(shù)據(jù)存入數(shù)據(jù)庫(kù)，通過(guò)相關(guān)實(shí)驗(yàn)及實(shí)驗(yàn)結(jié)果分析，驗(yàn)證了該方法對(duì)于海量網(wǎng)絡(luò)信息數(shù)據(jù)存儲(chǔ)效率有較大程度優(yōu)化。三、在對(duì)Nutch爬蟲系統(tǒng)進(jìn)行深入研究的基礎(chǔ)上，改進(jìn)Nutch爬蟲系統(tǒng)，進(jìn)行多線程封裝和配置接口設(shè)計(jì)，實(shí)現(xiàn)了分布，可靈活配置的信息采集模塊。 基于以上研究成果，本文規(guī)劃了網(wǎng)絡(luò)信息采集處理平臺(tái)的總體框架結(jié)構(gòu)，設(shè)計(jì)了系統(tǒng)功能模塊邏輯，數(shù)據(jù)庫(kù)結(jié)構(gòu)和用戶界面；應(yīng)用新型GWT（Google Web To