新聞搜索分析平臺(tái)的相關(guān)技術(shù)研究.pdf

1、隨著Web信息的急劇增加，新聞媒體如何準(zhǔn)確、快速有效地從海量Web信息中獲取宣傳報(bào)道所需信息，已成為急待解決的問題。通用搜索引擎的局限性，決定了試圖索引全部Web來完成涉及主題的查詢請(qǐng)求的回答能力越來越有限，導(dǎo)致搜索結(jié)果重復(fù)文本多、缺少權(quán)威性和可靠性。針對(duì)這種矛盾，新聞搜索分析平臺(tái)正是在這個(gè)前提下提出的。
　　 新聞搜索分析平臺(tái)是基于B/S架構(gòu)，采用.NET框架，依托HttpFetch搜索技術(shù)所構(gòu)建的系統(tǒng)，最終使其具有網(wǎng)絡(luò)新聞自

2、動(dòng)抓取、新聞分類、新聞動(dòng)態(tài)跟蹤、報(bào)紙對(duì)比、新聞熱點(diǎn)分析等功能。本系統(tǒng)主要是由搜索代理、查詢代理、關(guān)鍵算法三部分組成；其支持的后臺(tái)數(shù)據(jù)庫由網(wǎng)頁數(shù)據(jù)庫、搜索規(guī)則數(shù)據(jù)庫、索引數(shù)據(jù)庫、關(guān)鍵詞數(shù)據(jù)庫組成。
　　 本系統(tǒng)通過只抓取具有權(quán)威性和可靠性的網(wǎng)站新聞，來提高搜索新聞的權(quán)威性和可靠性；通過研究的關(guān)鍵技術(shù)，包含有網(wǎng)頁去噪算法、基于新聞主題要素的新聞關(guān)鍵詞抽取技術(shù)和文本去重算法等，來提高搜索引擎的搜索精度，減少數(shù)據(jù)存儲(chǔ)空間，減輕用戶瀏覽負(fù)