搜索引擎設(shè)計

1、搜索引擎設(shè)計搜索引擎設(shè)計學(xué)號：學(xué)號：姓名：姓名：專業(yè)：專業(yè)：2.1搜索器搜索器俗稱蜘蛛，其功能是日夜不停地在互聯(lián)網(wǎng)中漫游，“耙”回信息。它要盡可能多、盡可能快地搜集各種類型的新信息，還要定期更新已經(jīng)搜集過的舊信息，以避免死鏈。目前有兩種搜集信息的策略：(1)從一個起始URL集合開始，順著這些URL中的超鏈(Hyperlink)，以寬度優(yōu)先、深度優(yōu)先或啟發(fā)式方式循環(huán)地在互聯(lián)網(wǎng)中發(fā)現(xiàn)信息。這些起始URL可以是任意的URL，但常常是一些非常流

2、行、包含很多鏈接的站點(如Yahoo！)。(2)將Web空間按照域名、IP地址或國家域名劃分每個搜索器負責一個子空間的窮盡搜索。搜索器搜集的信息類型多種多樣，包括網(wǎng)頁文件(如HTML、XML、JSP、ASP等格式)，有的搜索器能處理字處理文檔(如Wd、Excel、PowerPoint、PDF、RTF等格式)，甚至數(shù)據(jù)庫文件(如acle、LotusNotes的NSF文檔數(shù)據(jù)庫文件)等。搜索器將“耙”回的每個文檔過濾掉格式符，提取文本數(shù)據(jù)f

3、ulltext。每個文檔對應(yīng)著一個fulltext文件，內(nèi)容包括網(wǎng)頁標題、網(wǎng)頁URL、大小、時間、類型、分類等屬性及文本內(nèi)容，所有生成的這些文件交給Indexer進行索引處理。搜索器的實現(xiàn)常常用分布式并行計算技術(shù)，以提高信息發(fā)現(xiàn)和更新的速度。商業(yè)搜索引擎的信息發(fā)現(xiàn)可以達到每天幾百萬網(wǎng)頁。2.2索引器索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表。Indexer讀入Spider生成的Fullte

4、xt文件，采用基于位置倒排索引與三級n元索引相結(jié)合的索引機制。首先進行分詞處理生成索引項，并作歸并排序，生成index和inv文件，inv文件為倒排表(InversionList)，即由索引項查找相應(yīng)的文檔，index文件形成分詞倒排表對應(yīng)關(guān)系，內(nèi)容為分詞在倒排表中相應(yīng)的文檔塊起始地址，含有該詞的文檔數(shù)量等信息。索引器可以使用集中式索引算法或分布式索引算法。當數(shù)據(jù)量很大時，必須實現(xiàn)即時索引，否則不能夠跟上信息量急劇增加的速度。索引算法對