面向垂直搜索的聚焦爬蟲研究及應用.pdf

1、隨著搜索引擎技術的發(fā)展,服務于特定領域的垂直搜索應用開始興起。作為注重專業(yè)化與結構分析的垂直搜索技術,其前提是建立在與主題相關的結構化的元數(shù)據(jù)信息之上。因此,如何準確、及時地獲取結構化數(shù)據(jù)信息成為了當前垂直搜索領域研究的一大課題。網(wǎng)絡爬蟲作為搜索引擎信息源的提供者,能夠自動提取網(wǎng)頁超鏈接,并負責下載相應的Web信息。但它在結構化數(shù)據(jù)信息的獲取方面,還不能滿足垂直搜索引擎的需要。為此,本文提出用面向垂直搜索的聚焦爬蟲技術來解決上述問題。在

2、簡單介紹垂直搜索與網(wǎng)絡爬蟲的技術背景之后,圍繞面向垂直搜索的聚焦爬蟲這一中心,本文完成了下列主要研究及應用工作:1)系統(tǒng)地描述了面向垂直搜索的聚焦爬蟲的概念、主要工作原理及流程、關鍵技術分析,還探討了其發(fā)展趨勢。2)針對聚焦爬蟲最核心基礎的兩大工作環(huán)節(jié):網(wǎng)頁抓取和信息提取,提倡借鑒國外先進的開源項目技術:網(wǎng)絡爬蟲Heritrix和解析工具Web-Harvest。同時也為后續(xù)的應用作了技術鋪墊。3)在現(xiàn)有的研究基礎上,引入一個實際的職位招