基于主題的新聞搜索引擎的研究與實現(xiàn).pdf

1、眾所周知，新聞是各國門戶網站之間主要的競爭內容，即使到了贏利方式相對多元化的今天，新聞仍然被公認為門戶網站的核心競爭力?，F(xiàn)如今，新聞競爭已經不僅僅是門戶網站之間的事，而且搜索引擎在新聞搜索領域的競爭，也越來越激烈。新聞搜索，顧名思義就是根據(jù)關鍵詞搜索相關新聞。 作為除電視、報紙、廣播之外的第四大媒體，互聯(lián)網已經成為人們獲取新聞信息的主要來源。目前，怎樣從浩瀚的網絡信息海洋中迅速方便地查找到自己想要了解的新聞是一個棘手且熱門的問題

2、，這成為新聞搜索引擎的基本任務。有重大事件發(fā)生時，如何使用戶及時得到最新消息，也是當今新聞服務所關心的問題。 由于通用搜索引擎的局限性——試圖索引全部Web并試圖服務于涉及所有主題的查詢請求，它已很難跟上Web的增長速度，對各類查詢的回答能力越來越有限。因此，專題搜索引擎就此產生，并成為近幾年Web信息檢索領域里研究和開發(fā)的熱點。本論文總結和分析了自然語言處理、文本分類、個性化檢索等相關理論和技術，以通用搜索引擎——專題搜索引擎

3、——新聞搜索引擎為論述主線，詳細介紹了新聞搜索引擎，并研究與實現(xiàn)了基于主題的新聞搜索引擎的原型系統(tǒng)。 本文的主要工作概括如下： ①對于本系統(tǒng)中涉及到的自然語言處理技術、文本分類技術、用戶興趣挖掘技術、信息推送技術等做了詳細地討論與研究。 ②在對收集的新聞網頁進行分類處理時，本文利用統(tǒng)計語言模型中的bigram模型，針對傳統(tǒng)的向量空間模型在計算文本相似度時假設特征項相互獨立的缺點，并加入平滑技術，提出了一種新的利用

4、詞對及詞序信息來改善文本分類結果的方法。 ③針對現(xiàn)如今的多數(shù)網上信息服務處于被動的缺點，本系統(tǒng)對于郵件用戶實現(xiàn)了信息的主動服務功能。 ④按照用戶的查詢關鍵詞和存儲于用戶信息庫中的以往的查詢關鍵詞進行查詢擴展，尋找適當?shù)年P鍵詞組合來構成該用戶的新聞檢索主題，來進一步完善檢索結果，以期使查詢返回的結果能夠更符合用戶的檢索要求，最終方便網絡新聞用戶。 ⑤基于以上所述的一些改進，本文初步實現(xiàn)了一個基于主題的新聞搜索引擎的