博客檢索的關鍵技術研究.pdf

1、隨著互聯(lián)網邁向Web2.0時代，博客以極快的速度融入到社會生活中，成為互聯(lián)網的基礎服務之一。博客迅猛發(fā)展，博客數量爆炸增長，在為人們帶來豐富信息的同時也帶來了難以尋找有用信息的煩惱，使博客檢索和分類技術的研究價值日漸凸顯。本文正是在這種背景下，對博客檢索的關鍵技術展開了研究，主要研究內容包括以下幾個方面。
　　第一，本文在歸納分析經典搜索引擎架構模型的基礎上，結合博客的特點設計了適合博客檢索需求的搜索引擎系統(tǒng)架構。
　　第二

2、，本文討論包括網頁搜集、網頁信息抽取、中文分詞、索引、檢索和用戶接口在內的一系列搜索引擎系統(tǒng)主要研究內容，并根據博客特點加以改進、優(yōu)化。例如：使用博客URL過濾規(guī)則對非博客網頁和非博客文章網頁過濾；利用博客域名多使用虛擬主機技術的特點改進博客域名解析和DNS緩存；根據博客網頁結構特點實現高效、準確的博客正文、標題和作者等信息的抽取；針對博客搜索的定位優(yōu)化中文分詞詞典，加入計算機、軟件、網絡、電子術語等IT領域專業(yè)詞典，還針對博客語言特點

3、增加網絡流行新詞詞典，提高檢索的準確率；修改開源全文檢索工具包cLucene，使其更好的支持中文處理，完成倒排索引和檢索工作。
　　第三，本文提出利用博客標簽和正文信息融合的博客文本分類算法。由于博客文本的內容、風格缺乏規(guī)范性，加上在領域內分類，分類粒度小，為自動文本分類增加了難度。博客作者通常為文章指定一個或多個標簽，標簽在很大程度上概括了文章涉及的內容，對博客文本分類有重要的作用。本文根據博客文本標簽這一特點，提出了兩種標簽信