搜索引擎原理06190

1、搜索引擎分類搜索引擎按其工作方式主要可分為三種，搜索引擎按其工作方式主要可分為三種，分別是全文搜索引擎（全文搜索引擎（FullTextSearchEngine）、目錄索引類搜索引擎錄索引類搜索引擎（SearchIndexDirecty）和元搜索引擎元搜索引擎（MetaSearchEngine）?！鋈乃阉饕嫒乃阉饕?百度百度Google全文搜索引擎是名副其實(shí)的搜索引擎，國(guó)外具代表性的有國(guó)外具代表性的有Google、FastAllT

2、heWeb、AltaVista、Inktomi、Teoma、WiseNut等，國(guó)內(nèi)著名的有等，國(guó)內(nèi)著名的有百度百度（Baidu）。它們都是通過(guò)從互聯(lián)網(wǎng)上提取的各個(gè)網(wǎng)站的信息（以網(wǎng)頁(yè)文字為主）而建立的數(shù)據(jù)庫(kù)中，檢索與用戶查詢條件匹配的相關(guān)記錄，然后按一定的排列順序?qū)⒔Y(jié)果返回給用戶，因此他們是真正的真正的搜索引擎搜索引擎。從搜索結(jié)果來(lái)源的角度，全文搜索引擎又可細(xì)分為兩種全文搜索引擎又可細(xì)分為兩種，一種是一種是擁有自己的檢索程序（Indexe

3、r），俗稱“蜘蛛蜘蛛”（Spider）程序或）程序或“機(jī)器人機(jī)器人”（Robot）程序）程序，并自建網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，搜索結(jié)果直接從自身的數(shù)據(jù)庫(kù)中調(diào)用，如上面提到的7家引擎；另一種則是另一種則是租用其他引擎的數(shù)據(jù)庫(kù)，并按自定的格式排列搜索結(jié)果，如Lycos引擎?！瞿夸浰饕夸浰饕?Yahoo雅虎雅虎搜狐、新浪、網(wǎng)易搜狐、新浪、網(wǎng)易目錄索引雖然有搜索功能，但在嚴(yán)格意義上算不上是真正的搜索引擎，僅僅是按目錄分類的網(wǎng)站目錄索引雖然有搜索功能，但在嚴(yán)

4、格意義上算不上是真正的搜索引擎，僅僅是按目錄分類的網(wǎng)站鏈接列表而已鏈接列表而已。用戶完全可以不用進(jìn)行關(guān)鍵詞（Keywds）查詢，僅靠分類目錄也可找到需要的信息。目錄索引中最具代表性的目錄索引中最具代表性的莫過(guò)于大名鼎鼎的Yahoo雅虎雅虎。其他著名的還有OpenDirectyProject（DMOZ）、LookSmart、About等。國(guó)內(nèi)的搜狐、新浪、網(wǎng)易搜索國(guó)內(nèi)的搜狐、新浪、網(wǎng)易搜索也都屬于這一類?！鲈阉饕嬖阉饕?METAS

5、earchEngine)元搜索引擎在接受用戶查詢請(qǐng)求時(shí)，同時(shí)在其他多個(gè)引擎上進(jìn)行搜索，并將結(jié)果返回給用戶元搜索引擎在接受用戶查詢請(qǐng)求時(shí)，同時(shí)在其他多個(gè)引擎上進(jìn)行搜索，并將結(jié)果返回給用戶。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜星搜索引擎。在搜索結(jié)果排列方面，有的直接按來(lái)源引擎排列搜索結(jié)果，如Dogpile，有的則按自定的規(guī)則將結(jié)果重新排列組合，如Viv

6、isimo。除上述三大類引擎外，還有以下幾種非主流形式：除上述三大類引擎外，還有以下幾種非主流形式：1、集合式搜索引擎集合式搜索引擎：如HotBot在2002年底推出的引擎。該引擎類似META搜索引擎，但區(qū)別在于不是同時(shí)調(diào)用多個(gè)引擎進(jìn)行搜索，而是由用戶從提供的由用戶從提供的4個(gè)引擎當(dāng)中選擇個(gè)引擎當(dāng)中選擇，因此叫它“集合式”搜索引擎更確切些。2、門戶搜索引擎門戶搜索引擎：如AOLSearch、MSNSearch等雖然提供搜索服務(wù)，但自身即

7、沒有分類目錄也沒有網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，其搜索結(jié)果完全來(lái)自其他引擎。3、免費(fèi)鏈接列表免費(fèi)鏈接列表（FreeFAllLinks，簡(jiǎn)稱FFA）：這類網(wǎng)站一般只簡(jiǎn)單地滾動(dòng)排列鏈接條目，這類網(wǎng)站一般只簡(jiǎn)單地滾動(dòng)排列鏈接條目，少部分有簡(jiǎn)單的分類目錄少部分有簡(jiǎn)單的分類目錄，不過(guò)規(guī)模比起Yahoo等目錄索引來(lái)要小得多。由于上述網(wǎng)站都為用戶提供搜索查詢服務(wù)，為方便起見，我們通常將其統(tǒng)稱為搜索引擎。搜索引擎基本工作原理搜索引擎基本工作原理了解搜索引擎的工作原理對(duì)我

8、們?nèi)粘Ｋ阉鲬?yīng)用和網(wǎng)站提交推廣都會(huì)有很大幫助。........................................................................................主機(jī)中，查詢起來(lái)非常不便，因此AlanEmtage想到了開發(fā)一個(gè)可以以文件名查找文件的系統(tǒng)，于是便有了Archie。Archie工作原理與現(xiàn)在的搜索引擎已經(jīng)很接近，它依靠腳本程序自動(dòng)搜索網(wǎng)上的文件，然后對(duì)有關(guān)信息進(jìn)行索引

9、，供使用者以一定的表達(dá)式查詢。由于Archie深受用戶歡迎，受其啟發(fā)，美國(guó)內(nèi)華達(dá)SystemComputingServices大學(xué)于1993年開發(fā)了另一個(gè)與之非常相似的搜索工具，不過(guò)此時(shí)的搜索工具除了索引文件外，已能檢索網(wǎng)頁(yè)。當(dāng)時(shí)，“機(jī)器人”一詞在編程者中十分流行。電腦“機(jī)器人”（ComputerRobot）是指某個(gè)能以人類無(wú)法達(dá)到的速度不間斷地執(zhí)行某項(xiàng)任務(wù)的軟件程序。由于專門用于檢索信息的“機(jī)器人”程序象蜘蛛一樣在網(wǎng)絡(luò)間爬來(lái)爬去，因此

10、，搜索引擎的“機(jī)器人”程序就被稱為“蜘蛛”程序。世界上第一個(gè)用于監(jiān)測(cè)互聯(lián)網(wǎng)發(fā)展規(guī)模的“機(jī)器人”程序是MatthewGray開發(fā)的WldwideWebWerer。剛開始它只用來(lái)統(tǒng)計(jì)互聯(lián)網(wǎng)上的服務(wù)器數(shù)量，后來(lái)則發(fā)展為能夠檢索網(wǎng)站域名。與Werer相對(duì)應(yīng)，MartinKoster于1993年10月創(chuàng)建了ALIWEB，它是Archie的HTTP版本。ALIWEB不使用“機(jī)器人”程序，而是靠網(wǎng)站主動(dòng)提交信息來(lái)建立自己的鏈接索引，類似于現(xiàn)在我們熟知

11、的Yahoo。隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁(yè)變得越來(lái)越困難，因此，在MatthewGray的Werer基礎(chǔ)上，一些編程者將傳統(tǒng)的“蜘蛛”程序工作原理作了些改進(jìn)。其設(shè)想是，既然所有網(wǎng)頁(yè)都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤一個(gè)網(wǎng)站的鏈接開始，就有可能檢索整個(gè)互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開始紛紛涌現(xiàn)，其中以JumpStation、TheWldWideWebWm（Goto的前身，也就是今天Overture）

12、，和ReposityBasedSoftwareEngineering(RBSE)spider最負(fù)盛名。然而JumpStation和WWWWm只是以搜索工具在數(shù)據(jù)庫(kù)中找到匹配信息的先后次序排列搜索結(jié)果，因此毫無(wú)信息關(guān)聯(lián)度可言。而RBSE是第一個(gè)在搜索結(jié)果排列中引入關(guān)鍵字串匹配程度概念的引擎。最早現(xiàn)代意義上的搜索引擎出現(xiàn)于1994年7月。當(dāng)時(shí)MichaelMauldin將JohnLeavitt的蜘蛛程序接入到其索引程序中，創(chuàng)建了大家現(xiàn)在熟知

13、的Lycos。同年4月，斯坦福（Stanfd）大學(xué)的兩名博士生，DavidFilo和美籍華人楊致遠(yuǎn)（GerryYang）共同創(chuàng)辦了超級(jí)目錄索引Yahoo，并成功地使搜索引擎的概念深入人心。從此搜索引擎進(jìn)入了高速發(fā)展時(shí)期。目前，互聯(lián)網(wǎng)上有名有姓的搜索引擎已達(dá)數(shù)百家，其檢索的信息量也與從前不可同日而語(yǔ)。比如最近風(fēng)頭正勁的Google，其數(shù)據(jù)庫(kù)中存放的網(wǎng)頁(yè)已達(dá)30億之巨！隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹，一家搜索引擎光靠自己?jiǎn)未颡?dú)斗已無(wú)法適應(yīng)目前的市

14、場(chǎng)狀況，因此現(xiàn)在搜索隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹，一家搜索引擎光靠自己?jiǎn)未颡?dú)斗已無(wú)法適應(yīng)目前的市場(chǎng)狀況，因此現(xiàn)在搜索引擎之間開始出現(xiàn)了分工協(xié)作，引擎之間開始出現(xiàn)了分工協(xié)作，并有了專業(yè)的搜索引擎技術(shù)和搜索數(shù)據(jù)庫(kù)服務(wù)提供商并有了專業(yè)的搜索引擎技術(shù)和搜索數(shù)據(jù)庫(kù)服務(wù)提供商。象國(guó)外的Inktomi（已被Yahoo收購(gòu)），它本身并不是直接面向用戶的搜索引擎，但向包括Overture（原GoTo，已被Yahoo收購(gòu)）、LookSmart、MSN、HotB

15、ot等在內(nèi)的其他搜索引擎提供全文網(wǎng)頁(yè)搜索服務(wù)。國(guó)內(nèi)的百度也屬于這一類（注1），搜狐和新浪用的就是它的技術(shù)（注2）。因此從這個(gè)意義上說(shuō)，它們是搜索引擎的搜索引擎。（注1）：百度已于2001年9月開始提供公共搜索服務(wù)。（注1）：搜狐二級(jí)網(wǎng)頁(yè)搜索現(xiàn)已改為中搜的引擎，而新浪則已轉(zhuǎn)用Google的搜索結(jié)果。一、搜索引擎的分類獲得網(wǎng)站網(wǎng)頁(yè)資料，能夠建立數(shù)據(jù)庫(kù)并提供查詢的系統(tǒng)，我們都可以把它叫做搜索引擎。按照工作原理的不同，可以把它們分為兩個(gè)基本類別

16、：全文搜索引擎（FullTextSearchEngine）和分類目錄Directy）。全文搜索引擎的全文搜索引擎的數(shù)據(jù)庫(kù)是依靠一個(gè)叫“網(wǎng)絡(luò)機(jī)器人（Spider）”或叫“網(wǎng)絡(luò)蜘蛛（crawlers）”的軟件，通過(guò)網(wǎng)絡(luò)上的各種鏈接自動(dòng)獲取大量網(wǎng)頁(yè)信息內(nèi)容，并按以定的規(guī)則分析整理形成的。通過(guò)網(wǎng)絡(luò)上的各種鏈接自動(dòng)獲取大量網(wǎng)頁(yè)信息內(nèi)容，并按以定的規(guī)則分析整理形成的。Google、百度都是比較典型的全文搜索引擎系統(tǒng)。、百度都是比較典型的全文搜索引擎