基于微博的突發(fā)事件檢測方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，新聞、論壇、微博等一些新興的互聯(lián)網(wǎng)服務(wù)已經(jīng)成為人們傳播以及獲取信息的重要平臺。尤其是近幾年來，微博的發(fā)展正異軍突起，并且憑借其實時性和便捷性受到廣大用戶的喜愛。微博上隨時隨地的動態(tài)信息使得微博成為把握社會脈搏的有力工具，因此對微博中海量信息進行事件挖掘，及時發(fā)現(xiàn)社會動態(tài)對社會的穩(wěn)定和公眾的利益有著重要的影響。本文的研究以微博為平臺，以Twitter數(shù)據(jù)為基礎(chǔ)，對微博中的突發(fā)事件進行檢測與追蹤。本文的工作主要分為

2、以下幾個方面：
　　首先，選取合適的分詞工具，本文選用ansj做為本文的中文分詞工具，并構(gòu)建自定義用戶詞典和停用詞詞庫。根據(jù)突發(fā)事件的特性，設(shè)計表結(jié)構(gòu)，建立與突發(fā)事件相關(guān)的表。
　　其次，將Twitter測試數(shù)據(jù)集中的數(shù)據(jù)按照時間順序劃分到不同的時間窗中，對單位時間窗中的數(shù)據(jù)集進行預(yù)處理，得到新的數(shù)據(jù)集。提取新數(shù)據(jù)集中的時間信息和內(nèi)容信息，使用分詞工具對新數(shù)據(jù)集中的內(nèi)容進行分詞，去除停用詞，并將分詞過程中無意義的詞加入停用詞

3、庫。然后進行突發(fā)特征詞的提取，并基于詞共現(xiàn)技術(shù)構(gòu)建突發(fā)詞的相似度矩陣，記錄突發(fā)詞的突發(fā)時間區(qū)間。
　　最后，使用自底向上的凝聚式層次聚類算法，以突發(fā)詞集合和相似度矩陣為輸入進行聚類，得到一顆由突發(fā)詞組成的二叉樹，并采用合適的閾值對二叉樹進行切分，得到相關(guān)的事件簇，將事件簇中的相似事件進行合并并與突發(fā)時間區(qū)間相對應(yīng)，最終得到準確的突發(fā)事件和對應(yīng)的突發(fā)時間。
　　本文基于上述工作實現(xiàn)了突發(fā)事件檢測系統(tǒng)。使用改進的BBW（Basi