搜索引擎設(shè)計(jì)

1、搜索引擎設(shè)計(jì)搜索引擎設(shè)計(jì)學(xué)號(hào)：學(xué)號(hào)：姓名：姓名：專業(yè)：專業(yè)：2.1搜索器搜索器俗稱蜘蛛，其功能是日夜不停地在互聯(lián)網(wǎng)中漫游，“耙”回信息。它要盡可能多、盡可能快地搜集各種類型的新信息，還要定期更新已經(jīng)搜集過(guò)的舊信息，以避免死鏈。目前有兩種搜集信息的策略：(1)從一個(gè)起始URL集合開始，順著這些URL中的超鏈(Hyperlink)，以寬度優(yōu)先、深度優(yōu)先或啟發(fā)式方式循環(huán)地在互聯(lián)網(wǎng)中發(fā)現(xiàn)信息。這些起始URL可以是任意的URL，但常常是一些非常流

2、行、包含很多鏈接的站點(diǎn)(如Yahoo！)。(2)將Web空間按照域名、IP地址或國(guó)家域名劃分每個(gè)搜索器負(fù)責(zé)一個(gè)子空間的窮盡搜索。搜索器搜集的信息類型多種多樣，包括網(wǎng)頁(yè)文件(如HTML、XML、JSP、ASP等格式)，有的搜索器能處理字處理文檔(如Wd、Excel、PowerPoint、PDF、RTF等格式)，甚至數(shù)據(jù)庫(kù)文件(如acle、LotusNotes的NSF文檔數(shù)據(jù)庫(kù)文件)等。搜索器將“耙”回的每個(gè)文檔過(guò)濾掉格式符，提取文本數(shù)據(jù)f

3、ulltext。每個(gè)文檔對(duì)應(yīng)著一個(gè)fulltext文件，內(nèi)容包括網(wǎng)頁(yè)標(biāo)題、網(wǎng)頁(yè)URL、大小、時(shí)間、類型、分類等屬性及文本內(nèi)容，所有生成的這些文件交給Indexer進(jìn)行索引處理。搜索器的實(shí)現(xiàn)常常用分布式并行計(jì)算技術(shù)，以提高信息發(fā)現(xiàn)和更新的速度。商業(yè)搜索引擎的信息發(fā)現(xiàn)可以達(dá)到每天幾百萬(wàn)網(wǎng)頁(yè)。2.2索引器索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項(xiàng)，用于表示文檔以及生成文檔庫(kù)的索引表。Indexer讀入Spider生成的Fullte

4、xt文件，采用基于位置倒排索引與三級(jí)n元索引相結(jié)合的索引機(jī)制。首先進(jìn)行分詞處理生成索引項(xiàng)，并作歸并排序，生成index和inv文件，inv文件為倒排表(InversionList)，即由索引項(xiàng)查找相應(yīng)的文檔，index文件形成分詞倒排表對(duì)應(yīng)關(guān)系，內(nèi)容為分詞在倒排表中相應(yīng)的文檔塊起始地址，含有該詞的文檔數(shù)量等信息。索引器可以使用集中式索引算法或分布式索引算法。當(dāng)數(shù)據(jù)量很大時(shí)，必須實(shí)現(xiàn)即時(shí)索引，否則不能夠跟上信息量急劇增加的速度。索引算法對(duì)