基于聯(lián)合推斷的微博信息抽取研究.pdf

1、社會媒體是人們彼此之間用來分享意見、見解、經(jīng)驗和觀點的工具和平臺。微博(Micro-blogs)是通過某個社會媒體——如推特(Twitter)或新浪微博——分享的不超過140個字符的文本消息。在本文中,微博特指通過推特分享的短文本消息。經(jīng)過最近五年的迅猛發(fā)展,微博目前已經(jīng)成為人們不可或缺的重要信息源。
　　微博有如下特點:一是非結(jié)構(gòu)化,二是片面、零散和隨意,三是實時性強,四是噪音多。如此一來,人們很難從海量的微博中獲取感興趣的信息

2、。本文系統(tǒng)研究了面向微博的信息抽取這一新任務(wù)。該任務(wù)的目標是從充滿噪音的、零碎的、非結(jié)構(gòu)化的微博中提取有價值的結(jié)構(gòu)化的信息點,從而幫助用戶有效地利用微博。這一任務(wù)可進一步分解為命名實體識別、語義角色標注、事件抽取、情感分析等子任務(wù)。
　　本文重點研究前三個子任務(wù)。研究面臨的主要挑戰(zhàn)是單條微博提供的信息非常有限——這源自微博內(nèi)容片面、零散、隨意和充滿噪音的特性。本文針對微博的特點,提出了如下三類聯(lián)合推斷算法(Collective i

3、nference)以克服單條微博信息的不足。
　　1.基于K近鄰分類器的聯(lián)合推斷。K近鄰分類器利用標記歷史中與當前輸入相似的輸入的輸出,決定當前輸入的輸出。
　　2.基于聚類的聯(lián)合推斷。第一遍進行常規(guī)的單條微博信息處理,第二遍把相似的微博聚類,并利用聚類一級的信息對第一遍的結(jié)果作細化處理。
　　3.基于概率圖模型的聯(lián)合推斷。用圖模型在多條相關(guān)微博的抽取任務(wù)間建立聯(lián)系,使得針對各條微博的任務(wù)間可共享信息,并同時決定多條微