基于Ajax-Lucene的站內(nèi)搜索技術(shù)研究.pdf

1、站內(nèi)搜索引擎是找出網(wǎng)站重要信息的必要工具，高效的站內(nèi)搜索將有助于提升網(wǎng)站的價值，發(fā)揮網(wǎng)站應有的作用。雖然現(xiàn)在一些網(wǎng)絡巨頭已開始研究并應用這類工具，但整個互聯(lián)網(wǎng)行業(yè)中，受制于技術(shù)的門檻，真正的站內(nèi)搜索技術(shù)還沒有被廣泛的普及。因此，研究并開發(fā)站內(nèi)搜索引擎具有重要的現(xiàn)實意義。 本文主要研究與站內(nèi)搜索相關(guān)的技術(shù)和方法，主要包括全文檢索、Lucene、Ajax、網(wǎng)絡蜘蛛、中文分詞等內(nèi)容。在學習研究的基礎(chǔ)上，設計并實現(xiàn)了一個站內(nèi)搜索引擎；測

2、試結(jié)果表明，該引擎具有實用價值。 本文第一部分首先闡述了搜索引擎的相關(guān)概念，搜索引擎按照技術(shù)原理可以分為三類：全文檢索引擎、目錄搜索引擎和元搜索引擎，本文主要是研究全文檢索引擎。國內(nèi)許多全文檢索系統(tǒng)，其實現(xiàn)都是基于關(guān)系數(shù)據(jù)庫開發(fā)的，或者是使用通用數(shù)據(jù)庫系統(tǒng)提供的全文檢索功能開發(fā)的，存在查詢速度慢和無法處理非結(jié)構(gòu)化數(shù)據(jù)等很多弊端。所以本文的研究采用了全文索引文件庫。 接著，分析了全文檢索工具包Lucene的系統(tǒng)結(jié)構(gòu)、數(shù)據(jù)流

3、、索引格式等等。然后，研究了Ajax框架，Ajax技術(shù)的出現(xiàn)正在改變著B/S結(jié)構(gòu)的應用模式，它正在將我們帶入到下一代的網(wǎng)絡應用之中。系統(tǒng)的前端搜索界面采用了Ajax技術(shù)，帶來了更好的用戶體驗。 然后，是本文的主要工作：分析和設計站內(nèi)搜索引擎系統(tǒng)。對總體架構(gòu)的搭建、具體分模塊的設計進行了詳細的分析。接著，對構(gòu)建站內(nèi)搜索引擎中的幾個關(guān)鍵問題進行了研究與改進。包括：設計出一種適合站內(nèi)搜索的網(wǎng)絡蜘蛛；選用合適的HTML解析器解析出網(wǎng)頁中