垂直搜索引擎中關(guān)鍵技術(shù)的研究.pdf

1、搜索引擎的出現(xiàn)滿足了人們的檢索需求，眾所周知的百度、Google等搜索引擎已經(jīng)深深地滲入到人們的日常生活中了。然而Internet數(shù)據(jù)量已經(jīng)超出了搜索引擎所能覆蓋的范圍，全球互聯(lián)網(wǎng)資源已達(dá)數(shù)以億計(jì)，人們很難從通用搜索引擎獲取自己所需的特定主題領(lǐng)域的信息。垂直搜索引擎的出現(xiàn)，解決了這一難題，實(shí)現(xiàn)了特定用戶對(duì)特定主題信息的準(zhǔn)確檢索。
　　本文簡(jiǎn)要介紹了課題研究背景、搜索引擎的基本工作原理以及垂直搜索引擎在國(guó)內(nèi)外的發(fā)展現(xiàn)狀，闡述了垂直搜

2、索引擎的相關(guān)理論，給出了垂直搜索引擎的基本概念、與通用搜索引擎的區(qū)別和評(píng)價(jià)垂直搜索引擎性能的準(zhǔn)則。并介紹了垂直搜索引擎的各組成模塊及其功能，對(duì)垂直搜索引擎中所涉及的核心技術(shù)進(jìn)行了深入的研究，主要有爬蟲技術(shù)、網(wǎng)頁結(jié)構(gòu)化提取技術(shù)，中文分詞技術(shù)和Lucene索引技術(shù)，這些技術(shù)應(yīng)用于垂直搜索引擎中的信息采集模塊、信息提取模塊、索引模塊和用戶接口模塊的實(shí)現(xiàn)。其中，信息采集模塊利用爬蟲技術(shù)從Internet網(wǎng)絡(luò)上爬取數(shù)據(jù)；信息提取模塊是對(duì)已下載的網(wǎng)

3、頁進(jìn)行結(jié)構(gòu)化的提取操作；索引模塊將提取到的結(jié)構(gòu)化信息建立索引庫(kù)；用戶結(jié)構(gòu)模塊給用戶提供了一個(gè)查詢界面，供用戶提供查詢請(qǐng)求和返回結(jié)果給用戶。
　　本文主要的研究工作及創(chuàng)新點(diǎn)有：通過擴(kuò)展和改進(jìn)功能強(qiáng)大的開源爬蟲框架Heritrix，使其對(duì)體育用品信息能夠?qū)崿F(xiàn)定向抓取，引入APHash算法，改進(jìn)隊(duì)列分配策略，極大地提高了Heritrix爬蟲的效率；用體育用品品牌等專業(yè)詞匯擴(kuò)充了JE分詞工具所用到的主題詞庫(kù)，使其成為特色專業(yè)詞庫(kù)，在很大程