基于教育領(lǐng)域的垂直搜索引擎的研究與設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的急速發(fā)展,網(wǎng)上的信息資源也呈現(xiàn)出爆炸式增長(zhǎng),這種信息的增長(zhǎng)體現(xiàn)在互聯(lián)網(wǎng)的各個(gè)領(lǐng)域,尤其是在教育領(lǐng)域?；ヂ?lián)網(wǎng)為廣大網(wǎng)民提供了豐富的網(wǎng)上學(xué)習(xí)資源以及教學(xué)資源。我們可以很方便的對(duì)這些資源進(jìn)行訪(fǎng)問(wèn)和下載,但是,如何準(zhǔn)確即時(shí)的找到自己所需要的教育資源也成為當(dāng)今社會(huì)所面臨的一個(gè)重要問(wèn)題。
　　傳統(tǒng)的搜索引擎查詢(xún)結(jié)果數(shù)量巨大,用戶(hù)很難在其中找到自己所需要的專(zhuān)業(yè)性很強(qiáng)的資源。隨著垂直搜索引擎的出現(xiàn),這種情況得到了較大的改善。垂直搜

2、索引擎是相對(duì)通用搜索引擎的查詢(xún)不準(zhǔn)確、深度不夠等局限性提出來(lái)的新的搜索引擎服務(wù)模式,通過(guò)針對(duì)某一特定領(lǐng)域、某一特定人群或某一特定需求提供的有一定價(jià)值的信息和相關(guān)服務(wù)。
　　本文在研究了大量的搜索引擎技術(shù)的情況下,采用Lucene作為底層包,開(kāi)發(fā)出了一個(gè)基于教育領(lǐng)域的垂直搜索引擎。
　　論文首先對(duì)垂直搜索引擎的產(chǎn)生背景及國(guó)內(nèi)外的發(fā)展?fàn)顩r作了簡(jiǎn)單的介紹,詳細(xì)闡述了垂直搜索引擎的主要組成部分,包括主題爬蟲(chóng)、網(wǎng)頁(yè)資源預(yù)處理、中文分詞

3、等。并且對(duì)Lucene核心模塊進(jìn)行了介紹,包括索引模塊和檢索模塊。
　　然后,通過(guò)對(duì)搜索引擎關(guān)鍵技術(shù)的研究,分析并設(shè)計(jì)了垂直搜索引擎的系統(tǒng)結(jié)構(gòu)及實(shí)現(xiàn)框圖。
　　論文的核心內(nèi)容主要是對(duì)主題爬蟲(chóng)進(jìn)行了研究,現(xiàn)有的主題爬蟲(chóng)算法較著名的是Fish-search和Shark-search算法。通過(guò)對(duì)其優(yōu)缺點(diǎn)的分析研究,改進(jìn)了爬蟲(chóng)算法。并實(shí)現(xiàn)了基于Fish-search算法改進(jìn)的爬蟲(chóng)算法,和基于VSM主題匹配的算法,提高了爬取的效率同時(shí)