企業(yè)級搜索引擎的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展和日益普及，網(wǎng)上的信息量在爆炸性增長?；ヂ?lián)網(wǎng)被普及前，人們查閱資料第一想到的便是擁有大量書籍資料的圖書館，到了今天或許很多人都會選擇一種更方便、快捷、全面、準確的方式—互聯(lián)網(wǎng)。人們登錄到某個搜索引擎網(wǎng)站，輸入代表自己所關(guān)心信息的關(guān)鍵詞或者短語，依據(jù)返回的相關(guān)信息列表、摘要和超鏈接引導(dǎo)，試探尋找自己需要的內(nèi)容?，F(xiàn)在的搜索引擎技術(shù)已經(jīng)能做到在多數(shù)情況下滿足用戶的這種需要。搜索引擎是按照一定的策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，

2、對信息進行理解、提取、組織和處理，并為用戶提供檢索服務(wù)，從而起到信息導(dǎo)航的目的，并提高對非結(jié)構(gòu)化數(shù)據(jù)的分類與檢索。
　　本論文描述的搜索系統(tǒng)是面向企業(yè)級應(yīng)用的，可以根據(jù)企業(yè)的具體特點來搜集相關(guān)信息。本系統(tǒng)以構(gòu)建高性能搜索引擎的檢索系統(tǒng)為目標，系統(tǒng)地研究檢索在效率問題方面的優(yōu)化方式。本論文中對索引的結(jié)構(gòu)、分詞方式、索引的創(chuàng)建更新策略等相關(guān)問題做了比較詳細的闡述。在系統(tǒng)結(jié)構(gòu)上采用分布式索引結(jié)構(gòu)，每個節(jié)點都配備了熱備節(jié)點，可以實現(xiàn)24小

3、時不間斷的穩(wěn)定服務(wù)；并且還支持內(nèi)存索引，可以滿足實時數(shù)據(jù)的檢索需求；為了提高檢索效率，使用了倒排文件分段組織方式；為了提高檢索合并速度，在索引模塊中采用了對相關(guān)度和時間分別建立索引的方法。
　　本系統(tǒng)使用一種詞典結(jié)構(gòu)，通過結(jié)合中文自動分詞與未登錄詞識別技術(shù)，把基本分詞結(jié)果與在識別過程中生成的擴展詞典上的分詞結(jié)果都選擇作為索引詞?？紤]到大規(guī)模檢索過程中消耗大量磁盤I/O的特點，加入了緩存技術(shù)及相關(guān)的頁面替換算法。
　　結(jié)論表明