一種可擴展的面向中文主題搜索引擎的研究與設(shè)計.pdf

1、面向主題的搜索引擎是一種分類精確細致、更新及時的搜索引擎,是搜索引擎的細分和延伸。隨著Web信息的爆炸增長以及信息多元化的發(fā)展,主題搜索引擎正成為研究熱點與發(fā)展趨勢。與通用搜索引擎相比,主題搜索引擎由于檢索范圍較小,查準率和查全率易于保證。本文的研究對象是Web這樣的動態(tài)海量信息載體,研究的主要目的是要得到一種支持海量網(wǎng)頁信息搜集、具有健壯的網(wǎng)頁預處理、并提供相應(yīng)規(guī)模的索引和查詢接口的中文主題搜索引擎系統(tǒng)。本文所做的可擴展性工作主要體現(xiàn)

2、在網(wǎng)絡(luò)蜘蛛信息搜集和查詢服務(wù)實現(xiàn)兩方面。
　　基于對網(wǎng)頁性質(zhì)及其分布的認識,本文提出一種可擴展網(wǎng)絡(luò)蜘蛛信息搜集系統(tǒng)體系結(jié)構(gòu)。系統(tǒng)可以讓用戶根據(jù)自己對信息的興趣,配置用于引導系統(tǒng)搜集的主題導向詞,以及搜集范圍。同時,盡可能地使用和遵循現(xiàn)有的標準和協(xié)議。在不需要改動或改動很少的配置的情況下,適用不同主題的信息抓取。搜集系統(tǒng)力圖在搜集策略、開放性、可定制性等方面得到一個很好的折衷。網(wǎng)絡(luò)蜘蛛采用Fish搜索算法動態(tài)地調(diào)整爬行方向,從而保證

3、了抓取網(wǎng)頁的主題相關(guān)性。網(wǎng)絡(luò)蜘蛛的可擴展性主要體現(xiàn)在種子鏈接發(fā)現(xiàn)、增量式抓取、多線程和限定抓取類型等。實驗結(jié)果表明,網(wǎng)絡(luò)蜘蛛具有較強的抓取能力,很好地解決了搜索引擎的數(shù)據(jù)來源問題。
　　針對網(wǎng)絡(luò)蜘蛛搜集來的主題網(wǎng)頁進行一系列的預處理,抽取其中的網(wǎng)頁URL、標題、正文內(nèi)容、錨文本等。針對網(wǎng)頁URL編碼的不同而造成的網(wǎng)頁亂碼現(xiàn)象,采用統(tǒng)一的字符集和編碼方案。設(shè)計一個中文搜索引擎,索引創(chuàng)建需要一個高效的倒排算法。本文從索引文件本身出發(fā),

4、采用分級的倒排表索引組織結(jié)構(gòu),提高了索引創(chuàng)建的效率。本文還結(jié)合中文分詞技術(shù),構(gòu)建一定規(guī)模的詞庫,嘗試解決中文搜索引擎存在的查準率和檢索精度問題。
　　在查詢服務(wù)階段,增量和合并的配置策略對索引進行了擴展,實現(xiàn)索引文檔的動態(tài)更新。本文結(jié)合Lucene索引包特點,在達到索引合并閾值時,通過微調(diào)Lucene內(nèi)置參數(shù),有效避免頻繁地改動和合并大索引塊。同時,本文還給出基于Ajax技術(shù)的搜索引擎異步模式,這樣極大地豐富了Web的表現(xiàn)力,也因