搜索引擎經(jīng)驗(yàn)總結(jié)

1、?搜索引擎經(jīng)驗(yàn)總結(jié)分類:總結(jié)人：相生昌原文：:blog.xsc2001archive20060403649106.aspx一、搜索引擎概述搜索引擎的發(fā)展歷史在互聯(lián)網(wǎng)發(fā)展初期，網(wǎng)站相對(duì)較少，信息查找比較容易。然而伴隨互聯(lián)網(wǎng)爆炸性的發(fā)展，普通網(wǎng)絡(luò)用戶想找到所需的資料簡(jiǎn)直如同大海撈針，這時(shí)為滿足大眾信息檢索需求的專業(yè)搜索網(wǎng)站便應(yīng)運(yùn)而生了?，F(xiàn)代意義上的搜索引擎的祖先，是1990年由蒙特利爾大學(xué)學(xué)生AlanEmtage發(fā)明的Archie。雖然當(dāng)時(shí)

2、WldWideWeb還未出現(xiàn)，但網(wǎng)絡(luò)中文件傳輸還是相當(dāng)頻繁的，而且由于大量的文件散布在各個(gè)分散的FTP主機(jī)中，查詢起來(lái)非常不便，因此AlanEmtage想到了開(kāi)發(fā)一個(gè)可以以文件名查找文件的系統(tǒng)，于是便有了Archie。Archie工作原理與現(xiàn)在的搜索引擎已經(jīng)很接近，它依靠腳本程序自動(dòng)搜索網(wǎng)上的文件，然后對(duì)有關(guān)信息進(jìn)行索引，供使用者以一定的表達(dá)式查詢。由于Archie深受用戶歡迎，受其啟發(fā)，美國(guó)內(nèi)華達(dá)SystemComputingServ

3、ices大學(xué)于1993年開(kāi)發(fā)了另一個(gè)與之非常相似的搜索工具，不過(guò)此時(shí)的搜索工具除了索引文件外，已能檢索網(wǎng)頁(yè)。當(dāng)時(shí)，“機(jī)器人”一詞在編程者中十分流行。電腦“機(jī)器人”（ComputerRobot）是指某個(gè)能以人類無(wú)法達(dá)到的速度不間斷地執(zhí)行某項(xiàng)任務(wù)的軟件程序。由于專門用于檢索信息的“機(jī)器人”程序象蜘蛛一樣在網(wǎng)絡(luò)間爬來(lái)爬去，因此，搜索引擎的“機(jī)器人”程序就被稱為“蜘蛛”程序。世界上第一個(gè)用于監(jiān)測(cè)互聯(lián)網(wǎng)發(fā)展規(guī)模的“機(jī)器人”程序是MatthewGr

4、ay開(kāi)發(fā)的WldwideWebWerer。剛開(kāi)始它只用來(lái)統(tǒng)計(jì)互聯(lián)網(wǎng)上的服務(wù)器數(shù)量，后來(lái)則發(fā)展為能夠檢索網(wǎng)站域名。與Werer相對(duì)應(yīng)，MartinKoster于1993年10月創(chuàng)建了ALIWEB，它是Archie的HTTP版本。ALIWEB不使用“機(jī)器人”程序，而是靠網(wǎng)站主動(dòng)提交信息來(lái)建立自己的鏈接索引，類似于現(xiàn)在我們熟知的Yahoo。隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁(yè)變得越來(lái)越困難，因此，在MatthewGray的Werer

5、基礎(chǔ)上，一些編程者將傳統(tǒng)的“蜘蛛”程序工作原理作了些改進(jìn)。其設(shè)想是，既然所有網(wǎng)頁(yè)都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤一個(gè)網(wǎng)站的鏈接開(kāi)始，就有可能檢索整個(gè)互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開(kāi)始紛紛涌現(xiàn)，其中以JumpStation、TheWldWideWebWm（Goto的前身，也就是今天Overture），和ReposityBasedSoftwareEngineering(RBSE)spider最負(fù)盛名。然而JumpSt

6、ation和WWWWm只是以搜索工具在數(shù)據(jù)庫(kù)中找到匹配信息的先后次序排列搜索結(jié)果，因此毫無(wú)信息關(guān)聯(lián)度可言。而RBSE是第一個(gè)在搜索結(jié)果排列中引入關(guān)鍵字串匹配程度概念的引擎。鼎的Yahoo雅虎。其他著名的還有OpenDirectyProject（DMOZ）、LookSmart、About等。國(guó)內(nèi)的搜狐、新浪、網(wǎng)易搜索也都屬于這一類。元搜索引擎(METASearchEngine)元搜索引擎在接受用戶查詢請(qǐng)求時(shí)，同時(shí)在其他多個(gè)引擎上進(jìn)行搜索，

7、并將結(jié)果返回給用戶。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索結(jié)果排列方面，有的直接按來(lái)源引擎排列搜索結(jié)果，如Dogpile，有的則按自定的規(guī)則將結(jié)果重新排列組合，如Vivisimo。除上述三大類引擎外，還有以下幾種非主流形式：1、集合式搜索引擎：如HotBot在2002年底推出的引擎。該引擎類似META搜索引擎，但區(qū)別在于不是同時(shí)調(diào)用多個(gè)

8、引擎進(jìn)行搜索，而是由用戶從提供的4個(gè)引擎當(dāng)中選擇，因此叫它“集合式”搜索引擎更確切些。2、門戶搜索引擎：如AOLSearch、MSNSearch等雖然提供搜索服務(wù)，但自身即沒(méi)有分類目錄也沒(méi)有網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，其搜索結(jié)果完全來(lái)自其他引擎。3、免費(fèi)鏈接列表（FreeFAllLinks，簡(jiǎn)稱FFA）：這類網(wǎng)站一般只簡(jiǎn)單地滾動(dòng)排列鏈接條目，少部分有簡(jiǎn)單的分類目錄，不過(guò)規(guī)模比起Yahoo等目錄索引來(lái)要小得多。由于上述網(wǎng)站都為用戶提供搜索查詢服務(wù)，為方便

9、起見(jiàn)，我們通常將其統(tǒng)稱為搜索引擎。搜索引擎組成及工作原理搜索引擎系統(tǒng)一般由蜘蛛（也叫網(wǎng)頁(yè)爬行器）、切詞器、索引器、查詢器幾部分組成。蜘蛛負(fù)責(zé)網(wǎng)頁(yè)信息的抓取工作，一般情況下切詞器和索引器一起使用，它們負(fù)責(zé)將抓取的網(wǎng)頁(yè)內(nèi)容進(jìn)行切詞處理并自動(dòng)進(jìn)行標(biāo)引，建立索引數(shù)據(jù)庫(kù)。查詢器根據(jù)用戶查詢條件檢索索引數(shù)據(jù)庫(kù)并對(duì)檢索結(jié)果進(jìn)行排序和集合運(yùn)算，如并集、交集運(yùn)算，再提取網(wǎng)頁(yè)簡(jiǎn)單摘要信息反饋給查詢用戶。Google搜索引擎從功能上同樣分為三大部分：網(wǎng)頁(yè)爬行

10、、標(biāo)引入庫(kù)和用戶查詢。網(wǎng)頁(yè)爬行主要負(fù)責(zé)網(wǎng)頁(yè)的抓取，由URL服務(wù)器、爬行器、存儲(chǔ)器、分析器和URL解析器組成爬行器是該部分的核心；標(biāo)引入庫(kù)主要負(fù)責(zé)對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行分析，對(duì)文檔進(jìn)行標(biāo)引并存儲(chǔ)到數(shù)據(jù)庫(kù)里，由標(biāo)引器和分類器組成，該模塊涉及許多文件和數(shù)據(jù)，有關(guān)于桶的操作是該部分的核心；用戶查詢主要負(fù)責(zé)分析用戶輸入的檢索表達(dá)式，匹配相關(guān)文檔，把檢索結(jié)果返回給用戶，由查詢器和網(wǎng)頁(yè)級(jí)別評(píng)定器組成，其中網(wǎng)頁(yè)等級(jí)的計(jì)算是該部分的核心。其總體系統(tǒng)結(jié)構(gòu)下圖所示。