企業(yè)級搜索引擎的設計與實現.pdf

1、隨著互聯網的不斷發(fā)展和日益普及，網上的信息量在爆炸性增長。互聯網被普及前，人們查閱資料第一想到的便是擁有大量書籍資料的圖書館，到了今天或許很多人都會選擇一種更方便、快捷、全面、準確的方式—互聯網。人們登錄到某個搜索引擎網站，輸入代表自己所關心信息的關鍵詞或者短語，依據返回的相關信息列表、摘要和超鏈接引導，試探尋找自己需要的內容?，F在的搜索引擎技術已經能做到在多數情況下滿足用戶的這種需要。搜索引擎是按照一定的策略在互聯網中搜集、發(fā)現信息，

2、對信息進行理解、提取、組織和處理，并為用戶提供檢索服務，從而起到信息導航的目的，并提高對非結構化數據的分類與檢索。
　　本論文描述的搜索系統是面向企業(yè)級應用的，可以根據企業(yè)的具體特點來搜集相關信息。本系統以構建高性能搜索引擎的檢索系統為目標，系統地研究檢索在效率問題方面的優(yōu)化方式。本論文中對索引的結構、分詞方式、索引的創(chuàng)建更新策略等相關問題做了比較詳細的闡述。在系統結構上采用分布式索引結構，每個節(jié)點都配備了熱備節(jié)點，可以實現24小

3、時不間斷的穩(wěn)定服務；并且還支持內存索引，可以滿足實時數據的檢索需求；為了提高檢索效率，使用了倒排文件分段組織方式；為了提高檢索合并速度，在索引模塊中采用了對相關度和時間分別建立索引的方法。
　　本系統使用一種詞典結構，通過結合中文自動分詞與未登錄詞識別技術，把基本分詞結果與在識別過程中生成的擴展詞典上的分詞結果都選擇作為索引詞?？紤]到大規(guī)模檢索過程中消耗大量磁盤I/O的特點，加入了緩存技術及相關的頁面替換算法。
　　結論表明