推特中的非特定事件檢測(cè)方法研究.pdf

1、社交網(wǎng)絡(luò)的興起和發(fā)展帶給人們生活極大的便利和變化。社交網(wǎng)絡(luò)網(wǎng)站一般擁有百萬(wàn)以上的注冊(cè)用戶，全球范圍內(nèi)著名的社交網(wǎng)絡(luò)網(wǎng)站有臉書(shū)(FaceBook)、推特(Twitter)、微博等。社交網(wǎng)絡(luò)中傳播著大量有用信息，而且推特等社交網(wǎng)站對(duì)一般用戶開(kāi)放了API以方便獲取數(shù)據(jù)，這些因素使得近年來(lái)基于推特的數(shù)據(jù)挖掘研究迅速增加。事件檢測(cè)是其中的一個(gè)熱門(mén)研究，可分為特定事件檢測(cè)和非特定事件檢測(cè)。本文基于推特平臺(tái)以英語(yǔ)文本為研究對(duì)象，以非特定事件檢測(cè)為研究

2、課題。重點(diǎn)研究了短文本語(yǔ)義相似度計(jì)算方法、非特定事件檢測(cè)方法和在線非特定事件檢測(cè)系統(tǒng)實(shí)現(xiàn)。本文主要在以下幾個(gè)方面進(jìn)行研究和創(chuàng)新：
　　(1)提出基于知識(shí)和語(yǔ)料庫(kù)結(jié)合的短文本相似度計(jì)算方法。該方法基于改進(jìn)詞語(yǔ)語(yǔ)義相似度計(jì)算方法和一般短文本語(yǔ)義相似度計(jì)算方法。改進(jìn)詞語(yǔ)相似度方法通過(guò)一種選取融合的策略結(jié)合兩種詞語(yǔ)語(yǔ)義相似度，結(jié)合兩種方法的優(yōu)點(diǎn)以彌補(bǔ)單個(gè)方法的不足，發(fā)現(xiàn)更多文本中詞語(yǔ)的語(yǔ)義聯(lián)系，提升相似度的準(zhǔn)確性。本文使用大量測(cè)試語(yǔ)料集對(duì)

3、多種算法進(jìn)行對(duì)比測(cè)試分析，改進(jìn)方法在詞語(yǔ)相似度和短文本相似度結(jié)果上比其他方法更貼近人工標(biāo)記結(jié)果。
　　(2)提出基于文本增量聚類的非特定事件檢測(cè)方法。主要改進(jìn)了事件檢測(cè)中的增量短文本聚類方法，改進(jìn)方法是一種包含了貪婪聚類、重聚類、合并類、類刪減和可選的語(yǔ)義相似度計(jì)算的方法。它針對(duì)現(xiàn)有聚類算法缺乏語(yǔ)義相似性計(jì)算、增量聚類的順序影響性和聚合效果差的問(wèn)題進(jìn)行改進(jìn)。此外提出一種基于聚類結(jié)果特征的事件識(shí)別方法。在真實(shí)推文數(shù)據(jù)測(cè)試中改進(jìn)聚類方

4、法比原方法在聚類效果和順序影響方面有較大提升，事件檢測(cè)方法的召回率和準(zhǔn)確性也滿足應(yīng)用需求。
　　(3)設(shè)計(jì)實(shí)現(xiàn)了基于推特的非特定事件檢測(cè)系統(tǒng)。本文對(duì)非特定事件檢測(cè)系統(tǒng)進(jìn)行了編程實(shí)現(xiàn)，主要包括語(yǔ)義相似度計(jì)算、非特定事件檢測(cè)、文本預(yù)處理和圖形界面。該系統(tǒng)為了處理社交網(wǎng)絡(luò)的大量數(shù)據(jù)信息，針對(duì)各個(gè)模塊分別提出了優(yōu)化方法。在使用真實(shí)推文對(duì)系統(tǒng)進(jìn)行的功能測(cè)試和優(yōu)化性能對(duì)比測(cè)試中，該系統(tǒng)功能正常，優(yōu)化方法使模塊性能有較大提升，使系統(tǒng)能滿足在線事