新聞流實時話題挖掘框架與算法研究.pdf

1、移動互聯(lián)網(wǎng)時代，網(wǎng)絡以其無可比擬的傳播速度，成為越來越多人表達訴求、宣泄情感和評論時政的重要途徑。同時，與現(xiàn)實生活緊密相關的熱點和敏感話題往往由網(wǎng)絡引發(fā)，進而傳輸和擴散，對社會公共安全造成重大影響。網(wǎng)絡話題一旦成為廣大網(wǎng)民的關注焦點，短時間內(nèi)將產(chǎn)生大量的相關報道。如何高效、實時、全方位地從網(wǎng)絡數(shù)據(jù)流中捕捉熱點話題已成為網(wǎng)絡輿情監(jiān)控、社會公共安全分析的重要研究內(nèi)容。
　　 本文基于新聞媒體監(jiān)控的應用需求，構建了一個面向新聞流的實時

2、話題挖掘框架，并在該框架之上集成了實時話題挖掘和話題趨勢發(fā)現(xiàn)算法，它有效地改善了如下問題:1）基于新聞數(shù)據(jù)的特性，將話題模型從多個角度來刻畫，即時間、地點、人物、事件、機構等，使話題模型更豐富;2）通過加滑動時間窗口的實時聚類，過濾掉了較早前的歷史數(shù)據(jù)，消除了歷史數(shù)據(jù)對實時話題的影響;3）通過并行化聚類做話題趨勢發(fā)現(xiàn)，解決了數(shù)據(jù)規(guī)模的可擴展性;4）通過統(tǒng)一的話題挖掘框架，未來可以兼容更優(yōu)化的算法，提升了平臺的通用性、擴展性。