互聯(lián)網(wǎng)新聞熱點(diǎn)挖掘系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的出現(xiàn)及其近年來的飛速發(fā)展，人們開始進(jìn)入信息爆炸的時(shí)代。通過互聯(lián)網(wǎng)閱讀新聞成為人們?cè)絹碓街匾氖侄?，面?duì)如此浩瀚的互聯(lián)網(wǎng)新聞，如何快速、準(zhǔn)確的從這些海量數(shù)據(jù)中獲取有用的信息，特別是最近一段時(shí)間發(fā)生的大事、熱點(diǎn)，成為了人們迫切的需求和研究人員關(guān)注的焦點(diǎn)。
　　本文研究并實(shí)現(xiàn)了互聯(lián)網(wǎng)新聞的熱點(diǎn)挖掘系統(tǒng)，先使用文本分類的方法對(duì)新聞報(bào)道分門別類，然后使用話題檢測(cè)與跟蹤的技術(shù)，自動(dòng)形成一系列的專題。以標(biāo)題、相關(guān)詞群、事件趨勢(shì)圖等來

2、表示某一個(gè)專題，用一種關(guān)注度計(jì)算方法對(duì)專題進(jìn)行打分排序，把最新最熱的專題呈現(xiàn)給用戶。這樣，用戶就可以很方便地根據(jù)自己的興趣選擇某個(gè)領(lǐng)域的某個(gè)專題去瀏覽。本文的研究?jī)?nèi)容主要包括以下幾個(gè)方面：
　?。?）分析了文本分類使用一般特征選擇方法所存在的問題，在此基礎(chǔ)上提出了一種基于類別特征域的特征選擇新方法來改進(jìn)文本分類的效果。
　　（2）對(duì)傳統(tǒng)的話題檢測(cè)與跟蹤算法進(jìn)行改進(jìn)，提出了一種基于雙時(shí)間窗、凝聚式層次聚類與單遍聚類相結(jié)合的二次

3、聚類的話題檢測(cè)與跟蹤算法，引入了時(shí)間衰減因子、增量倒文檔頻率和基于時(shí)間距離的相似度計(jì)算公式，使用更新事件模板的方法有效地處理話題漂移問題。
　?。?）結(jié)合本文提出的算法，設(shè)計(jì)并實(shí)現(xiàn)了互聯(lián)網(wǎng)新聞熱點(diǎn)挖掘系統(tǒng)，以發(fā)現(xiàn)最近一段時(shí)間的熱點(diǎn)新聞和重大事件。
　　在文本分類評(píng)測(cè)中把本文的基于類別特征域的方法與互信息、信息增益和開方檢驗(yàn)做了比較，證明了基于類別特征域方法的優(yōu)越性。在話題檢測(cè)與跟蹤評(píng)測(cè)中，使用了三個(gè)數(shù)據(jù)集，把本文的基于雙時(shí)間