某機(jī)械制造企業(yè)WEB情報(bào)搜集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、改革開(kāi)放30多年，中國(guó)已經(jīng)從一個(gè)基礎(chǔ)設(shè)施落后的農(nóng)業(yè)國(guó)家變成一個(gè)制造業(yè)大國(guó)。近年隨著經(jīng)濟(jì)結(jié)構(gòu)的調(diào)整企業(yè)更加注重產(chǎn)業(yè)升級(jí)，在當(dāng)前的互聯(lián)網(wǎng)時(shí)代絕大部分信息是開(kāi)放的，一個(gè)企業(yè)如果及時(shí)了解行業(yè)發(fā)展方向、競(jìng)爭(zhēng)對(duì)手動(dòng)態(tài)便能及時(shí)作出戰(zhàn)略調(diào)整以應(yīng)對(duì)瞬息萬(wàn)變的行業(yè)變化。從互聯(lián)網(wǎng)獲取信息是最方便、快捷的渠道，但在目前的信息大爆炸時(shí)代利用傳統(tǒng)的搜索引擎已經(jīng)無(wú)法高效、及時(shí)的獲取和分析相關(guān)情報(bào)、信息。因此需要開(kāi)發(fā)一套企業(yè)WEB情報(bào)搜集系統(tǒng)來(lái)解決以上問(wèn)題。
　

2、　作為一個(gè)垂直搜索應(yīng)用，本項(xiàng)目要解決海量互聯(lián)網(wǎng)數(shù)據(jù)的采集、解析、存儲(chǔ)、檢索等問(wèn)題，同時(shí)還要兼顧到企業(yè)級(jí)應(yīng)用對(duì)系統(tǒng)穩(wěn)定性和安全性的要求，因此采用成熟穩(wěn)定的技術(shù)作為本項(xiàng)目的設(shè)計(jì)方案。本文采用基于Hadoop平臺(tái)的Nutch爬蟲(chóng)采集實(shí)現(xiàn)WEB數(shù)據(jù)的抓取，并對(duì)Nutch的相關(guān)代碼進(jìn)行改進(jìn)，加入了動(dòng)態(tài)爬蟲(chóng)列表、爬蟲(chóng)策略維護(hù)機(jī)制。本文還引入了HBase數(shù)據(jù)庫(kù)，存儲(chǔ)采集過(guò)程中產(chǎn)生的網(wǎng)頁(yè)數(shù)據(jù)。充分利用了HBase的高并發(fā)檢索能力，實(shí)現(xiàn)了網(wǎng)頁(yè)采集排重和過(guò)