基于倒排索引和字典樹的站內(nèi)搜索引擎的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展，快節(jié)奏的生活，人們對更好的用戶體驗的追求，搜索的長時間等待變得讓人無法忍受。如何獲得更快的搜索、更好的搜索結(jié)果、更符合用戶心理的推薦成為很多網(wǎng)站、手機應(yīng)用的痛點。本項目意在通過建立倒排索引加快搜索，使用字典樹結(jié)構(gòu)快速找到聯(lián)想詞，二者相結(jié)合的方式提供良好的搜索體驗。完成一個獨立的站內(nèi)搜索引擎，使得項目可以快速的移植到不同的系統(tǒng)中，提高開發(fā)速度，降低開發(fā)成本。
　　本項目主要完成一個輕量級站內(nèi)搜索引擎。系統(tǒng)主要分

2、為兩大部分：第一部分為全文索引引擎，主要負(fù)責(zé)從數(shù)據(jù)源建立倒排索引、以有效的格式保存索引、增量更新索引、索引的壓縮、搜索排序等功能；第二部分主要為拼音搜索引擎，主要完成關(guān)鍵字檢索、模糊查詢、拼音聯(lián)想等功能；此外完成系統(tǒng)對外的相關(guān)接口。主要的工作內(nèi)容是：獨立完成對整個站內(nèi)搜索引擎需求分析、系統(tǒng)設(shè)計、系統(tǒng)實現(xiàn)以及測試等工作；完成了系統(tǒng)的8大核心功能模塊，2個輔助模塊以及所有對外的接口。具體包括(1)文檔數(shù)據(jù)源獲取，(2)倒排索引的建立與壓縮，

3、(3)倒排索引更新，(4)倒排索引的查找，(5)搜索排序，(6)拼音轉(zhuǎn)化功能的實現(xiàn)，(7)拼音搜索Trie建立，(8)拼音聯(lián)想詞的查找，以及輔助功能如高亮顯示、相關(guān)推薦等功能。
　　系統(tǒng)進行設(shè)計時，極為關(guān)注其本身的可拓展性、可移植性和實用性。系統(tǒng)實現(xiàn)過程中使用基于磁盤排序的歸并算法，可以針對內(nèi)存無法裝下的數(shù)據(jù)進行排序，增強系統(tǒng)可用性；同時使用cidxHit算法進行壓縮，使得倒排索引在不影響效率的情況下占用內(nèi)存?。幌嚓P(guān)性的計算使用B