搜索引擎中Crawler的設(shè)計(jì)、實(shí)現(xiàn)與擴(kuò)展優(yōu)化.pdf

1、搜索引擎，是指一種在Web上應(yīng)用的軟件系統(tǒng)，它以一定的策略在Web上搜集和發(fā)現(xiàn)信息，在對(duì)信息進(jìn)行處理和組織后，為用戶(hù)提供Web信息查詢(xún)服務(wù)。 本文首先對(duì)搜索引擎的關(guān)鍵技術(shù)進(jìn)行了全面分析，包括：索引器原理、搜索器原理、爬取器原理、網(wǎng)頁(yè)質(zhì)量評(píng)估算法、詞法分析理論、中文分詞技術(shù)、文件倒排技術(shù)、布爾查詢(xún)理論。然后，在搜索引擎關(guān)鍵技術(shù)的基礎(chǔ)上，基于一個(gè)輕量級(jí)的架構(gòu)設(shè)計(jì)了搜索引擎的三個(gè)主要模塊：網(wǎng)頁(yè)爬蟲(chóng)、索引器與搜索器。并重點(diǎn)實(shí)現(xiàn)了網(wǎng)頁(yè)爬蟲(chóng)

2、模塊。 網(wǎng)頁(yè)爬蟲(chóng)模塊中：在實(shí)現(xiàn)其核心功能的基礎(chǔ)上，提出了以下幾種優(yōu)化方案： 1、增量式模型及其實(shí)現(xiàn)：增量式搜集只對(duì)部分頁(yè)面進(jìn)行更新就可以刷新頁(yè)面集，可以大幅度減少批量更新次數(shù)，提高頁(yè)面集的新鮮度。 2、分布式擴(kuò)展與實(shí)現(xiàn)：把一個(gè)搜集節(jié)點(diǎn)擴(kuò)展為多個(gè)搜集節(jié)點(diǎn)，節(jié)點(diǎn)之間相互通信，并增加了控制節(jié)點(diǎn)來(lái)協(xié)調(diào)各節(jié)點(diǎn)的工作。 3、網(wǎng)頁(yè)權(quán)值計(jì)算：用于評(píng)估網(wǎng)頁(yè)的重要性，為網(wǎng)頁(yè)排序提供依據(jù)。采用了Google的PageRank算

3、法。 4、對(duì)磁盤(pán)存儲(chǔ)方式進(jìn)行擴(kuò)展：利用面向?qū)ο笳Z(yǔ)言的繼承與派生機(jī)制，對(duì)數(shù)據(jù)庫(kù)存儲(chǔ)方式和容錯(cuò)文件格式提供了支持。 5、提出了一種新的網(wǎng)頁(yè)爬取策略：在第一次搜集網(wǎng)頁(yè)時(shí)根據(jù)計(jì)時(shí)策略給每個(gè)URL賦一個(gè)權(quán)值。在下一次爬取網(wǎng)頁(yè)的時(shí)候根據(jù)權(quán)值的大小去確定訪(fǎng)問(wèn)URL的先后次序，避免帶寬資源過(guò)多浪費(fèi)在低性能的服務(wù)器上。 索引模塊中：首先，討論了中文分詞的設(shè)計(jì)思想，選擇了分詞的算法。然后，提出了正向索引文件的建立策略。最后，給出了倒