基于Nutch的搜索系統(tǒng)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,網(wǎng)絡(luò)信息資源的急劇增長,網(wǎng)民人數(shù)越來越多,網(wǎng)絡(luò)在人們的日常生活和工作的作用越來越大,因此人們?cè)絹碓蕉嗟仃P(guān)注如何快速有效地從海量的網(wǎng)絡(luò)信息中,提取出潛在的、有價(jià)值的信息,使之有效地在工作和生活中發(fā)揮作用。搜索引擎(Search Engine)技術(shù)解決了用戶檢索網(wǎng)絡(luò)信息的困難,目前搜索引擎技術(shù)正成為計(jì)算機(jī)科學(xué)界和信息產(chǎn)業(yè)界爭相研究、開發(fā)的對(duì)象。搜索引擎是一個(gè)對(duì)Web上的信息資源進(jìn)行搜集整理,然后提供查詢服務(wù)的系統(tǒng),實(shí)際

2、是Web上的一類網(wǎng)站,這類網(wǎng)站與一般的網(wǎng)站不同,其主要工作是自動(dòng)搜尋Web信息,將其進(jìn)行分類、建立索引,然后把索引的內(nèi)容存放到索引庫中,便于以查詢方式提交給用戶。自1994年起至今,伴隨著因特網(wǎng)的日益發(fā)展壯大以及Web信息量的迅速膨脹,Web搜索引擎技術(shù)已經(jīng)經(jīng)歷了三代發(fā)展階段:集中式檢索階段、分布式檢索階段和智能化檢索階段。當(dāng)前搜索引擎研究的主要焦點(diǎn)集中在自動(dòng)化、智能化檢索和提高檢索結(jié)果的精確度上。今后搜索引擎還將不斷擴(kuò)展附加功能,以主

3、題化檢索為特征,以適應(yīng)不同層次用戶的個(gè)人化信息檢索需求。本文對(duì)搜索引擎的架構(gòu)、原理、組成、工作流程做了闡述。搜索引擎一般由搜索模塊、索引模塊、檢索模塊和用戶接口組成。搜索模塊主要功能是從Web上下載頁面;索引模塊對(duì)下載的頁面內(nèi)容進(jìn)行分析并建立索引;檢索模塊實(shí)現(xiàn)用戶查詢關(guān)鍵詞和目標(biāo)文檔匹配度的計(jì)算;用戶接口為用戶提供一個(gè)輸入查詢請(qǐng)求,定制查詢結(jié)果的Web頁面并將查詢結(jié)果格式化后返回給瀏覽器。本文在分析了搜一引擎的三個(gè)主要組成部分之后對(duì)如何

4、提高搜索引擎的精確度和相關(guān)度進(jìn)行了深入研究,對(duì)中文分詞技術(shù)作了較詳細(xì)的討論,對(duì)其核心算法做了分析。本文重點(diǎn)開發(fā)了中科慧創(chuàng)科技有限公司的補(bǔ)丁網(wǎng)站搜索系統(tǒng)。本文從介紹Nutch搜索引擎入手,詳細(xì)說明了中科會(huì)會(huì)慧創(chuàng)科技有限公司的補(bǔ)丁網(wǎng)站搜索系統(tǒng)開發(fā)過程和方法,并且利用中國科學(xué)院計(jì)算技術(shù)研究所開發(fā)的漢語詞法分析系統(tǒng)ICTCLAS來改進(jìn)Nutch的中文分詞模塊,并且利用用戶二次檢索和重要主頁加分等方法,對(duì)原有的基礎(chǔ)排序算法進(jìn)行了改進(jìn),提高了搜索結(jié)