基于論壇的熱點話題識別與趨勢預測研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，論壇成為當前興起的互聯(lián)網(wǎng)媒體之一，正是因為論壇的共享性、即時性、交互性等特點，成為大量用戶的網(wǎng)絡(luò)聚集地，因此論壇成為獲取信息的主要渠道之一。用戶可以發(fā)表一個主題來討論、提出一個問題來解決、針對社會焦點話題提出自己的觀點，因此也逐漸成為廣大用戶共享信息、瀏覽信息和發(fā)表觀點的平臺。但是論壇每天產(chǎn)生的信息量巨大，傳播速度較快，導致形成的話題較多，在這種情況下，怎樣快速的瀏覽當前熱點話題，來迅速了解當前社會關(guān)注焦點就顯得非

2、常有意義。
　　本文首先從論壇數(shù)據(jù)的采集著手，論壇的網(wǎng)頁鏈接的重復性、分頁鏈接的難以識別、隊列與數(shù)據(jù)庫的設(shè)計、多線程等問題進行了研究，將提取的文本數(shù)據(jù)存放在數(shù)據(jù)庫中，作為本文實驗的數(shù)據(jù)來源。
　　其次，在采集的基礎(chǔ)上，對熱點話題發(fā)現(xiàn)進行了研究。針對論壇帖子數(shù)據(jù)的特殊性和傳統(tǒng)的VSM僅用一個向量來描述整個文本信息的不足，本文提出了多向量維度策略，具體思想就是把一篇文本按照時間、地點、人物、事件分為四個子向量，對其四個子向量采用

3、各自的計算方法分別計算相似度值，再對這四個相似度值采用加權(quán)平均的方法得出最終的相似度值。最后通過與傳統(tǒng)的VSM進行對比，證明了該算法的精確性。
　　在話題檢測方面，針對論壇數(shù)據(jù)是按照時間的順序進行每天的疊加和更新，本文提出了在時間維度上采用二次聚類的方法來檢測話題，具體思想是先對當天同一時間維度上的帖子數(shù)據(jù)做一次局部聚類形成臨時話題集。若沒有舊話題集，則將這一次的結(jié)果保存等待下一次的聚類；若有舊話題集，則與舊話題集再做一次聚類，重

4、復訓練數(shù)據(jù)，得到最終的話題集合。考慮到 Single-Pass算法無需在動態(tài)數(shù)據(jù)源下提前確定話題的數(shù)目，而是根據(jù)相似度閾值來自動生成類簇的優(yōu)點，本文采用的是Single-Pass聚類。最后通過實驗證明了提出的算法思想的合理性。
　　最后，在話題趨勢預測上，采用時間序列 ARIMA模型來進行擬合，對話題的某些指標進行了預測分析。首先通過介紹 ARIMA模型，針對該模型的優(yōu)點分別給出建模步驟、模型的識別以及參數(shù)的估計、檢驗模型的正確性