分布式垂直搜索抓取平臺的研究與設(shè)計.pdf

1、隨著計算機(jī)互聯(lián)網(wǎng)行業(yè)的蓬勃發(fā)展，互聯(lián)網(wǎng)所提供的服務(wù)已經(jīng)涵蓋了人們生活的方方面面，互聯(lián)網(wǎng)提供的服務(wù)主要通過網(wǎng)頁的形式呈現(xiàn)給用戶使用，信息搜索已成為互聯(lián)網(wǎng)中最有價值的研究與應(yīng)用領(lǐng)域。通用搜索引擎，如百度、Google、360搜索等搜索引擎，能夠?qū)⒒ヂ?lián)網(wǎng)中的眾多網(wǎng)站信息進(jìn)行整合，提供信息導(dǎo)航的作用，而垂直搜索引擎則主要服務(wù)于某一特定行業(yè)、特定專業(yè)的搜索引擎，是對通用搜索引擎功能進(jìn)行的延伸和細(xì)分化。垂直搜索引擎為用戶提供的信息是范圍極為縮小、極

2、具針對性的具體信息，而不像通用搜索引起那樣提供成百上千的相關(guān)網(wǎng)頁。由于垂直搜索引擎的專、精特質(zhì)，特定行業(yè)的用戶更加青睞于垂直搜索引擎，因此研究垂直搜索引擎的關(guān)鍵技術(shù)具有重要意義。
　　本文的研究重點是在當(dāng)前現(xiàn)有的垂直搜索引擎的基礎(chǔ)上，設(shè)計基于分布式計算技術(shù)的垂直搜索抓取平臺，通過這套平臺系統(tǒng)能夠?qū)I(yè)領(lǐng)域的網(wǎng)站，快速實施及部署所有重要信息的抓取。本文的主要工作包括:
　　(1)針對垂直搜索抓取系統(tǒng)的基本需求與關(guān)鍵核心問題進(jìn)行

3、研究，分析了垂直搜索抓取系統(tǒng)要實現(xiàn)的基本功能需求，提出了基于字符串匹配的可配置抓取策略的基本解決方案。
　　(2)針對互聯(lián)網(wǎng)行業(yè)信息的巨大規(guī)模及網(wǎng)絡(luò)復(fù)雜性，分析設(shè)計了跨網(wǎng)絡(luò)的分布式抓取策略部署及調(diào)度方案。
　　(3)最后，以互聯(lián)網(wǎng)中的手機(jī)應(yīng)用分發(fā)網(wǎng)站作為測試。測試結(jié)果表明本系統(tǒng)能夠快速的實現(xiàn)對多個手機(jī)應(yīng)用分發(fā)網(wǎng)站的全量抓取及增量抓取行為，系統(tǒng)抓取得到的信息具有較好的結(jié)構(gòu)化程度。
　　目前，該系統(tǒng)已經(jīng)初步投入實際使用并取