基于主題的新聞搜索引擎的研究與實(shí)現(xiàn).pdf

1、眾所周知，新聞是各國(guó)門(mén)戶網(wǎng)站之間主要的競(jìng)爭(zhēng)內(nèi)容，即使到了贏利方式相對(duì)多元化的今天，新聞仍然被公認(rèn)為門(mén)戶網(wǎng)站的核心競(jìng)爭(zhēng)力?，F(xiàn)如今，新聞競(jìng)爭(zhēng)已經(jīng)不僅僅是門(mén)戶網(wǎng)站之間的事，而且搜索引擎在新聞搜索領(lǐng)域的競(jìng)爭(zhēng)，也越來(lái)越激烈。新聞搜索，顧名思義就是根據(jù)關(guān)鍵詞搜索相關(guān)新聞。 作為除電視、報(bào)紙、廣播之外的第四大媒體，互聯(lián)網(wǎng)已經(jīng)成為人們獲取新聞信息的主要來(lái)源。目前，怎樣從浩瀚的網(wǎng)絡(luò)信息海洋中迅速方便地查找到自己想要了解的新聞是一個(gè)棘手且熱門(mén)的問(wèn)題

2、，這成為新聞搜索引擎的基本任務(wù)。有重大事件發(fā)生時(shí)，如何使用戶及時(shí)得到最新消息，也是當(dāng)今新聞服務(wù)所關(guān)心的問(wèn)題。 由于通用搜索引擎的局限性——試圖索引全部Web并試圖服務(wù)于涉及所有主題的查詢請(qǐng)求，它已很難跟上Web的增長(zhǎng)速度，對(duì)各類(lèi)查詢的回答能力越來(lái)越有限。因此，專(zhuān)題搜索引擎就此產(chǎn)生，并成為近幾年Web信息檢索領(lǐng)域里研究和開(kāi)發(fā)的熱點(diǎn)。本論文總結(jié)和分析了自然語(yǔ)言處理、文本分類(lèi)、個(gè)性化檢索等相關(guān)理論和技術(shù)，以通用搜索引擎——專(zhuān)題搜索引擎

3、——新聞搜索引擎為論述主線，詳細(xì)介紹了新聞搜索引擎，并研究與實(shí)現(xiàn)了基于主題的新聞搜索引擎的原型系統(tǒng)。 本文的主要工作概括如下： ①對(duì)于本系統(tǒng)中涉及到的自然語(yǔ)言處理技術(shù)、文本分類(lèi)技術(shù)、用戶興趣挖掘技術(shù)、信息推送技術(shù)等做了詳細(xì)地討論與研究。 ②在對(duì)收集的新聞網(wǎng)頁(yè)進(jìn)行分類(lèi)處理時(shí)，本文利用統(tǒng)計(jì)語(yǔ)言模型中的bigram模型，針對(duì)傳統(tǒng)的向量空間模型在計(jì)算文本相似度時(shí)假設(shè)特征項(xiàng)相互獨(dú)立的缺點(diǎn)，并加入平滑技術(shù)，提出了一種新的利用

4、詞對(duì)及詞序信息來(lái)改善文本分類(lèi)結(jié)果的方法。 ③針對(duì)現(xiàn)如今的多數(shù)網(wǎng)上信息服務(wù)處于被動(dòng)的缺點(diǎn)，本系統(tǒng)對(duì)于郵件用戶實(shí)現(xiàn)了信息的主動(dòng)服務(wù)功能。 ④按照用戶的查詢關(guān)鍵詞和存儲(chǔ)于用戶信息庫(kù)中的以往的查詢關(guān)鍵詞進(jìn)行查詢擴(kuò)展，尋找適當(dāng)?shù)年P(guān)鍵詞組合來(lái)構(gòu)成該用戶的新聞檢索主題，來(lái)進(jìn)一步完善檢索結(jié)果，以期使查詢返回的結(jié)果能夠更符合用戶的檢索要求，最終方便網(wǎng)絡(luò)新聞?dòng)脩簟?⑤基于以上所述的一些改進(jìn)，本文初步實(shí)現(xiàn)了一個(gè)基于主題的新聞搜索引擎的