面向博客領(lǐng)域的垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)信息資源呈幾何級(jí)數(shù)增長(zhǎng)，使用傳統(tǒng)搜索引擎技術(shù)準(zhǔn)確、快速地查找所需信息也變得越來(lái)越困難。面對(duì)每天海量遞增的數(shù)據(jù)量，通用搜索引擎（又稱(chēng)為水平搜索引擎）很難及時(shí)地更新索引數(shù)據(jù)庫(kù)；面對(duì)數(shù)以?xún)|計(jì)的網(wǎng)頁(yè)通用搜索引擎很難深入抓取信息。針對(duì)通用搜索引擎存在搜索不夠快速、不夠深入的缺點(diǎn)，新一代搜索技術(shù)一垂直搜索引擎應(yīng)運(yùn)而生。 垂直搜索是針對(duì)某一個(gè)行業(yè)的專(zhuān)業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是相對(duì)通用搜索引擎的信息量大、查詢(xún)不準(zhǔn)確、深度不夠

2、等問(wèn)題提出來(lái)的新一代搜索引擎服務(wù)模式。通過(guò)針對(duì)某一特定領(lǐng)域、某一特定人群或某一特定需求提供有一定價(jià)值的信息和相關(guān)服務(wù)。 與通用搜索引擎的信息采集技術(shù)不同，垂直搜索引擎的網(wǎng)絡(luò)蜘蛛（又稱(chēng)為網(wǎng)絡(luò)爬蟲(chóng)）僅采集與主題相關(guān)的信息。通過(guò)對(duì)網(wǎng)頁(yè)的主題相關(guān)度進(jìn)行預(yù)測(cè)和判斷，專(zhuān)業(yè)網(wǎng)絡(luò)蜘蛛在爬行時(shí)避開(kāi)了大量主題無(wú)關(guān)的區(qū)域。由于只采集主題相關(guān)的網(wǎng)頁(yè)，垂直搜索引擎在查詢(xún)的準(zhǔn)確率和效率上都有顯著地提高。 本文首先介紹了垂直搜索引擎技術(shù)的研究現(xiàn)狀和發(fā)

3、展方向，然后重點(diǎn)研究了垂直搜索引擎的主題搜索策略和主題相關(guān)度判別算法；在分析了、闡述了通用搜索引擎與垂直搜索引擎在系統(tǒng)架構(gòu)、工作原理、關(guān)鍵技術(shù)等方面的不同特點(diǎn)基礎(chǔ)上，對(duì)博客垂直搜索引擎核心模塊--索引及檢索模塊進(jìn)行設(shè)計(jì)；并對(duì)博客垂直搜索引擎系統(tǒng)的具體實(shí)現(xiàn)和實(shí)施做了詳細(xì)地描述，測(cè)試的結(jié)果驗(yàn)證了本論文設(shè)計(jì)的博客垂直搜索引擎具有良好的搜索效果。 本文創(chuàng)新點(diǎn)是： （1）根據(jù)基于主題的垂直搜索網(wǎng)絡(luò)爬蟲(chóng)原理自主開(kāi)發(fā)出MySpider網(wǎng)