基于主題的搜索引擎的研究與實(shí)現(xiàn).pdf

1、由于Web海量的信息處于不斷的變化中，搜索引擎已經(jīng)很難再為用戶提供一個(gè)高質(zhì)量的、全面并且更新及時(shí)的信息搜索服務(wù)，其局限性在于它試圖索引全部Web信息并服務(wù)于所有主題的查詢請(qǐng)求。相比之下，主題搜索引擎只覆蓋與特定主題相關(guān)的Web區(qū)域，這樣它搜索的內(nèi)容可以更深，搜索的周期可以更短，因此能滿足用戶對(duì)快速、準(zhǔn)確的獲取信息資源的要求。目前，基于主題的Web搜索引擎正成為計(jì)算機(jī)科學(xué)界和信息產(chǎn)業(yè)界爭(zhēng)相研究、開發(fā)的對(duì)象。 本文首先簡(jiǎn)要介紹了搜索

2、引擎及其發(fā)展現(xiàn)狀，分析了存在的優(yōu)缺點(diǎn)；然后通過對(duì)當(dāng)前通用搜索引擎技術(shù)的學(xué)習(xí)和研究，結(jié)合基于主題搜索引擎的特點(diǎn)，設(shè)計(jì)出了基于主題搜索引擎的各個(gè)模塊和總體的架構(gòu)；而后本文分三個(gè)章節(jié)詳細(xì)分析、設(shè)計(jì)和實(shí)現(xiàn)了該搜索引擎的三大模塊：基于規(guī)則的中文分詞模塊、基于主題的Web信息抓取和Web內(nèi)容的存儲(chǔ)與索引模塊。它們構(gòu)成了本文的核心部分。通過對(duì)基于規(guī)則的中文分詞模塊的設(shè)計(jì)和實(shí)現(xiàn)，創(chuàng)新性地將詞典、詞性、詞頻信息，改進(jìn)的傳統(tǒng)分詞算法和中文文法篩選規(guī)則結(jié)合起

3、來，從而大大提高了分詞的正確率；通過對(duì)基于主題的Web信息抓取模塊的設(shè)計(jì)和實(shí)現(xiàn)，在完成了基本的信息抓取的基礎(chǔ)上，還利用動(dòng)態(tài)Web信息抓取技術(shù)解決了Web2.0給傳統(tǒng)信息抓取帶來的困難；通過對(duì)Web內(nèi)容的存儲(chǔ)與索引模塊的設(shè)計(jì)和實(shí)現(xiàn)，實(shí)現(xiàn)了文檔數(shù)據(jù)的B+樹索引存儲(chǔ)，還通過對(duì)CLucene源碼的修改和擴(kuò)展，將CLucene索引模塊結(jié)合進(jìn)來，實(shí)現(xiàn)了擴(kuò)展性較好、效率較高的中英文Web內(nèi)容的索引和存儲(chǔ)。在文章最后的總結(jié)也討論了這些技術(shù)及其將來還需進(jìn)