旅游信息垂直搜索系統(tǒng)的設計與實現(xiàn).pdf

1、隨著internet的迅速發(fā)展，網(wǎng)絡資源日益豐富，傳統(tǒng)的搜索引擎技術不加區(qū)分的從網(wǎng)絡上收集網(wǎng)頁，產(chǎn)生了大量用戶不需要的無關信息，大大影響了用戶的使用，為了更精確更迅速的獲得用戶關心的相關領域的信息，垂直搜索引擎技術應運而生。垂直搜索引擎僅僅采集用戶指定的、與某一特定主題相關的頁面。 Nutch是一個剛剛誕生開放源代碼（open-source）的 web搜索引擎。它使用Lucene作為索引和檢索的模塊，其工作流程包括網(wǎng)頁搜集，預

2、處理和檢索模塊，具有與商用搜索引擎相同的工作流程，且其各功能模塊相對獨立，通過改造Nutch的相關功能模塊，可以迅速搭建一個垂直搜索引擎。 本文的工作目標是構建一個基于垂直搜索引擎技術的旅游信息搜索網(wǎng)站，搜索引擎部分是一個中文主題搜索引擎，因此，中文處理的問題與主題相關性的問題是首要解決的重要問題。本文采用Nutch來構建基本搜索引擎架構，并修改了Nutch的兩個重要模塊，網(wǎng)頁搜集模塊和中文分詞模塊，使其能夠適應垂直搜索的使用。

3、 在此基礎上，本文首先介紹了通用搜索引擎與垂直搜索引擎的不同，討論了通用搜索引擎的核心技術，以及垂直搜索引擎的技術特點，接著介紹了Nutch的工作原理，在搜索模塊中，本文采用了shark search算法實現(xiàn)主題相關網(wǎng)頁的抓??；網(wǎng)頁抓取下來后，使用向量空間模型進行主題相關度判定，將相關度低于一定閾值的URL去除；使用在中文分詞模塊中，本文改進了Nuteh基于單字切分的分詞方式，設計了一種新的詞典機制，并將一種新的分詞算法引入到分