搜索引擎的產(chǎn)生背景

1、搜索引擎技術(shù)的理解認(rèn)識(shí)1一、一、搜索引擎技術(shù)的產(chǎn)生背景搜索引擎技術(shù)的產(chǎn)生背景搜索引擎是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門(mén)戶搜索引擎與免費(fèi)鏈接列表等。百度和谷歌等是搜索引擎的代表搜索引擎的發(fā)生背景在因特網(wǎng)發(fā)展初期，網(wǎng)站相對(duì)較少，新聞查找比較容易。然而隨著新聞

2、技術(shù)的飛速發(fā)展，特別是因特網(wǎng)應(yīng)用的迅速普及，網(wǎng)站越來(lái)越多，并且每天全球互聯(lián)網(wǎng)網(wǎng)頁(yè)數(shù)目以千萬(wàn)級(jí)的數(shù)量增加。要在浩瀚的網(wǎng)絡(luò)新聞中尋找所需要的材料無(wú)異于大海撈針。這時(shí)為滿足人人新聞檢索需求的搜索網(wǎng)站應(yīng)運(yùn)而生。搜索引擎從發(fā)生到發(fā)展大概閱歷履歷了如下四個(gè)步驟:(1)Archie的出現(xiàn)Archie已經(jīng)具備了現(xiàn)代搜索引擎的雛形。1990年，加拿大蒙特利爾大學(xué)艾倫伊米杰等三個(gè)學(xué)生在查詢文件的時(shí)候感觸非常不便，當(dāng)時(shí)需要到散布在各個(gè)地方的FIP主機(jī)中去搜索

3、，于是他們?nèi)碎_(kāi)發(fā)了用文件稱號(hào)查找文件體例的想法。經(jīng)過(guò)精心設(shè)計(jì)，終于開(kāi)發(fā)出了Archie程序。Archie是第一個(gè)自動(dòng)搜索互聯(lián)網(wǎng)上匿名FTP網(wǎng)站文件的程序。Archie是一個(gè)可搜索的FTP文件稱號(hào)排列表，當(dāng)用戶輸入精確的文件稱號(hào)時(shí)，Archie會(huì)告訴用戶哪一個(gè)FTP地址可以下載該文件。Archie還不是真正的搜索引擎，只是實(shí)現(xiàn)了自動(dòng)索引互聯(lián)網(wǎng)上匿名FIP網(wǎng)站文件的技術(shù)，但無(wú)疑是在搜索引擎技術(shù)發(fā)展上邁出的第一步。(2)Spider的出現(xiàn)為

4、搜索引擎的發(fā)展奠定了基礎(chǔ)，由于特地用于檢索新聞的機(jī)器人(Robot)程序像蜘蛛(Spider)一樣在網(wǎng)絡(luò)間爬來(lái)爬去，因此，Robot程序又被稱之為Spider程序。世界上第一個(gè)Spider程序，是由1993年6月美國(guó)麻省理工學(xué)院學(xué)生馬杰杰瑞開(kāi)發(fā)出來(lái)的，它可以用來(lái)捕捉互聯(lián)網(wǎng)上的網(wǎng)址，追蹤互聯(lián)網(wǎng)發(fā)展規(guī)模。雖然它也還不是真正意義上的搜索引擎，但Werer的原理與技術(shù)已經(jīng)被今天的搜索引擎廣泛采用。隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁(yè)變

5、得越來(lái)越困難，因此，在wwwWerer基礎(chǔ)上，一些編程者將傳統(tǒng)的spider程序工作原理作了些改進(jìn)。其原理是，既然所有網(wǎng)頁(yè)都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤一個(gè)網(wǎng)站的鏈接開(kāi)始，優(yōu)化。就有可能檢索整個(gè)互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開(kāi)始紛繁涌現(xiàn)，其中以Jumpstinsideion、TheWldWideWebWm(Goto的前身，也就是今天Overture)，和Reposity—BasedSoftwareEnginee

6、ring(RBSE)最負(fù)盈盛名。然而Jumpstinsideion和wwwwo只是以搜索工具在數(shù)據(jù)庫(kù)中找到匹配新聞的先后次序排列搜索結(jié)果，因此毫無(wú)新聞關(guān)聯(lián)度可言。而RBSE是是第一個(gè)索引HTML文件正文的搜索引擎，是第一個(gè)在搜索結(jié)果排列中引入關(guān)鍵字串匹配程度概念的引擎。(3)Lycos的發(fā)明Lycos(CarnegieMellonUniversityCenterfMac^ineTranslinsideionAnnouncesLycos)

7、是搜索引擎史上又一個(gè)重要的進(jìn)步。CarnegieMellonUniversity的MichaelMauldin將JohnLeavitt的spider程序接入到其索引程序中，創(chuàng)建了Lycos。1994年7月20日，Lycos正式發(fā)布。除了相關(guān)性排序外，Lycos還提供了前綴匹配和字符相近限制，Lycos第一個(gè)在搜索結(jié)果中使用了網(wǎng)頁(yè)自動(dòng)摘要，而最大的優(yōu)勢(shì)還是它遠(yuǎn)勝過(guò)其它搜索引擎的數(shù)據(jù)量。同時(shí)期的Infoseek(SteveKirschAnn

8、ouncesFreeDemosOftheInfoseekSearchEngine)是另一個(gè)重要的搜索引擎。起初，Infoseek只是一個(gè)不起眼的搜索引擎，它搜索引擎技術(shù)的理解認(rèn)識(shí)32、優(yōu)秀搜索引擎的基本特點(diǎn)目前各種各樣的中西文搜索有10余種或更多比較著名的搜索引擎有Yahoo、Excite、InfoSeek。一個(gè)優(yōu)秀的搜索引擎應(yīng)具有以Lycos、ltaVista等。以下幾個(gè)特點(diǎn):(1)支持全文檢索(FullTextSearch)。全文搜

9、索引擎的優(yōu)點(diǎn)是查詢?nèi)娑浞钟脩裟軌驅(qū)Ω骶W(wǎng)站的每篇文章中的每個(gè)詞進(jìn)行搜索。當(dāng)全文搜索引擎遇到一個(gè)網(wǎng)站時(shí)會(huì)將該網(wǎng)站上所有的文章(網(wǎng)頁(yè))全部獲取下來(lái)并收入到引擎的數(shù)據(jù)庫(kù)中。只要用戶輸入查詢的“關(guān)鍵字”在引擎庫(kù)的某篇文章中出現(xiàn)過(guò)則這篇文章就會(huì)作為匹配結(jié)果返回給用戶。(2)支持目錄式分類結(jié)構(gòu)(Directy)。分類搜索引擎的優(yōu)點(diǎn)是將信息系統(tǒng)地分門(mén)歸類當(dāng)遇到一個(gè)網(wǎng)站時(shí)它并不像全文搜索引擎那樣將網(wǎng)站上的所有文章和信息都收錄進(jìn)去而是首先將該網(wǎng)站劃分到

10、某個(gè)分類下再記錄一些摘要信息對(duì)該網(wǎng)站進(jìn)行概述性的簡(jiǎn)要介紹。最具代表性的目錄式分類搜索引擎是Yahoo網(wǎng)站。(3)能夠區(qū)分搜索結(jié)果的相關(guān)性(Pertinency)。搜索引擎應(yīng)該能夠找到與搜索要求相對(duì)應(yīng)的站點(diǎn)并按其相關(guān)程度將搜索結(jié)果排序。(4)檢索方法多樣查找手段完備。(5)其他性能。一個(gè)優(yōu)秀的搜索引擎產(chǎn)品還必須查詢速度快具有較好的可維護(hù)、可更新性能?，F(xiàn)有的搜索引擎在信息維護(hù)、信息重復(fù)、網(wǎng)絡(luò)及站點(diǎn)負(fù)載方面還存在很多的不足索引數(shù)據(jù)庫(kù)往往很大檢

11、索的查準(zhǔn)率不高?，F(xiàn)有搜索引擎的缺陷:(1)運(yùn)算符合布爾運(yùn)算組合運(yùn)用數(shù)量有限(2)僅使用關(guān)鍵詞提問(wèn)但關(guān)鍵詞檢索不能完全滿足用戶的要求而且它是一種盲目的匹配(3)不能檢索歷史信息(4)簡(jiǎn)單的結(jié)果表示方法使用戶顯得茫無(wú)頭緒(5)單個(gè)引擎的限制。3、搜索引擎的語(yǔ)法規(guī)則如果想要得到最佳的搜索效果就要使用搜索的基本語(yǔ)法來(lái)組織要搜索的條件。(1)使用邏輯操作符。搜索引擎中常用的操作邏輯符是:、、NOT、表示邏輯“與”可用“&”表示表示邏輯“或”可用“

12、”來(lái)表示NOT表示邏輯“非”可用“!”來(lái)表示。(2)使用“、”連接號(hào)和通配符。4、搜索引擎研究的主要問(wèn)題由于現(xiàn)有的搜索引擎有上述很多的缺陷因此搜索引擎仍是網(wǎng)絡(luò)和情報(bào)檢索的研究熱點(diǎn)。當(dāng)前主要的研究熱點(diǎn)有:(1)能充分表達(dá)用戶查詢要求的查詢語(yǔ)言。一套能充分表達(dá)用戶要求但又不增加網(wǎng)絡(luò)負(fù)載的查詢語(yǔ)言是搜索給用戶的第一個(gè)良好印象。(2)索引數(shù)據(jù)庫(kù)的組織和管理。如何對(duì)大容量、非結(jié)構(gòu)化的信息進(jìn)行增、刪、改操作也是一個(gè)值得研究的問(wèn)題。(3)信息的自動(dòng)加