面向微博文本的事件抽取.pdf

1、微型博客（簡稱微博）作為一種具有代表性的新型傳播媒體，現(xiàn)在已經(jīng)成為一種最流行的人們表達(dá)想法，分享信息，交流意見的網(wǎng)絡(luò)工具，對社會產(chǎn)生了巨大的影響。事件抽取(Event Extraction)是信息抽取領(lǐng)域中非常核心的研究內(nèi)容，主要研究如何從含有事件信息的非結(jié)構(gòu)化文本中抽取出用戶感興趣的事件信息，用自然語言表達(dá)的事件以結(jié)構(gòu)化的形式呈現(xiàn)出來，對于微博中的事件抽取技術(shù)的研究具有重要的現(xiàn)實意義和巨大的應(yīng)用價值。
　　相比于正式文本，微博文

2、本具有瑣碎，噪聲大，表達(dá)不規(guī)范，信息冗余等特點，導(dǎo)致了對其進(jìn)行事件抽取具有很大的挑戰(zhàn)性。另外，有監(jiān)督方法的實驗效果與標(biāo)注語料的數(shù)量和質(zhì)量有直接的關(guān)系，而且標(biāo)注大規(guī)模的語料通常需要耗費大量的人力、物力，所以本文針對無監(jiān)督的面向微博文本的事件抽取方法進(jìn)行研究，本文的主要貢獻(xiàn)有:
　　1.對面向微博文本的事件過濾進(jìn)行了研究。由于微博中內(nèi)容雜亂，描述事件的微博很少，所以我們嘗試通過先對微博本文進(jìn)行過濾來提高事件抽取效果。我們嘗試了兩種方法

3、，并在帶有標(biāo)注的實驗數(shù)據(jù)集上對比測試了兩種方法。
　　2.對無監(jiān)督微博事件抽取進(jìn)行了研究，提出了一種基于隱事件分類模型(LECM)的微博事件抽取方法。LECM是一種無監(jiān)督的貝葉斯隱變量模型，是對LDA方法在微博事件抽取問題上的擴展和應(yīng)用。本文詳細(xì)闡述了該方法的系統(tǒng)框架，抽取流程，模型表示和參數(shù)估計方法。
　　3.將基于LECM的事件抽取方法分別在兩個數(shù)據(jù)集上進(jìn)行了實驗評估。分別在已標(biāo)注的包含2468條微博的小數(shù)據(jù)集上和未標(biāo)注

4、的包含6000萬條大數(shù)據(jù)集上檢測了抽取和分類效果。該方法對于事件抽取的效果在兩個數(shù)據(jù)集上都超過了當(dāng)前最好的方法。
　　4.注意到了大部分微博沒有明確時間表達(dá)信息的特點，對原方法加以改進(jìn)，提出了基于LECM-d的微博信息抽取方法。我們在原有框架中添加了預(yù)處理和后處理規(guī)則，并對模型作了改進(jìn)。我們在6000萬條微博的大數(shù)據(jù)集上評估了基于LECM-d的抽取方法，在準(zhǔn)確率上相比基準(zhǔn)系統(tǒng)提高了13.55％，相比基于LECM的方法提高了9.76