某機(jī)械制造企業(yè)WEB情報(bào)搜集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、改革開放30多年，中國已經(jīng)從一個(gè)基礎(chǔ)設(shè)施落后的農(nóng)業(yè)國家變成一個(gè)制造業(yè)大國。近年隨著經(jīng)濟(jì)結(jié)構(gòu)的調(diào)整企業(yè)更加注重產(chǎn)業(yè)升級(jí)，在當(dāng)前的互聯(lián)網(wǎng)時(shí)代絕大部分信息是開放的，一個(gè)企業(yè)如果及時(shí)了解行業(yè)發(fā)展方向、競(jìng)爭對(duì)手動(dòng)態(tài)便能及時(shí)作出戰(zhàn)略調(diào)整以應(yīng)對(duì)瞬息萬變的行業(yè)變化。從互聯(lián)網(wǎng)獲取信息是最方便、快捷的渠道，但在目前的信息大爆炸時(shí)代利用傳統(tǒng)的搜索引擎已經(jīng)無法高效、及時(shí)的獲取和分析相關(guān)情報(bào)、信息。因此需要開發(fā)一套企業(yè)WEB情報(bào)搜集系統(tǒng)來解決以上問題。
　

2、　作為一個(gè)垂直搜索應(yīng)用，本項(xiàng)目要解決海量互聯(lián)網(wǎng)數(shù)據(jù)的采集、解析、存儲(chǔ)、檢索等問題，同時(shí)還要兼顧到企業(yè)級(jí)應(yīng)用對(duì)系統(tǒng)穩(wěn)定性和安全性的要求，因此采用成熟穩(wěn)定的技術(shù)作為本項(xiàng)目的設(shè)計(jì)方案。本文采用基于Hadoop平臺(tái)的Nutch爬蟲采集實(shí)現(xiàn)WEB數(shù)據(jù)的抓取，并對(duì)Nutch的相關(guān)代碼進(jìn)行改進(jìn)，加入了動(dòng)態(tài)爬蟲列表、爬蟲策略維護(hù)機(jī)制。本文還引入了HBase數(shù)據(jù)庫，存儲(chǔ)采集過程中產(chǎn)生的網(wǎng)頁數(shù)據(jù)。充分利用了HBase的高并發(fā)檢索能力，實(shí)現(xiàn)了網(wǎng)頁采集排重和過