分布式聚焦網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、傳統(tǒng)的通用搜索引擎不能滿足人們對(duì)搜索引擎越來越個(gè)性化的需求，提供某個(gè)專門領(lǐng)域搜索服務(wù)的垂直搜索引擎應(yīng)運(yùn)而生。垂直搜索引擎需要專門的聚焦網(wǎng)絡(luò)爬蟲按照其特定的要求從網(wǎng)絡(luò)中抓取數(shù)據(jù)，同時(shí)還要求聚焦網(wǎng)絡(luò)爬蟲抓取范圍的選擇更精確、發(fā)現(xiàn)新頁面更及時(shí)。
　　 本文在現(xiàn)有聚焦網(wǎng)絡(luò)爬蟲的理論基礎(chǔ)上，根據(jù)新的應(yīng)用趨勢(shì)，結(jié)合實(shí)際需求實(shí)現(xiàn)了一個(gè)分布式的聚焦網(wǎng)絡(luò)爬蟲系統(tǒng)。該系統(tǒng)具有高性能易擴(kuò)展的分布式架構(gòu)、友好的Web配置界面并實(shí)現(xiàn)了快速發(fā)現(xiàn)新頁面的機(jī)制

2、、精準(zhǔn)提取頁面字段的功能。
　　 該系統(tǒng)改進(jìn)了傳統(tǒng)的分布式聚焦網(wǎng)絡(luò)爬蟲的系統(tǒng)框架，將原有的文檔服務(wù)器和抓取服務(wù)器合二而一，同時(shí)繞開管理服務(wù)器直接使用抓取服務(wù)器來進(jìn)行URL除重。管理服務(wù)器負(fù)責(zé)系統(tǒng)的管理、抓取任務(wù)的分配并提供簡(jiǎn)單易用的Web配置界面，這使得普通用戶也能使用該系統(tǒng)將網(wǎng)絡(luò)上分散的信息聚合成格式化的數(shù)據(jù)。抓取服務(wù)器負(fù)責(zé)具體的頁面抓取和處理，實(shí)現(xiàn)了動(dòng)態(tài)擴(kuò)展的URL除重機(jī)制，并能對(duì)頁面字段進(jìn)行精準(zhǔn)地抽取，這使得該系統(tǒng)能夠?yàn)榇?/p>