基于貪心森林的微博實體鏈接方法研究.pdf

1、實體鏈接工作已經(jīng)取得了較多的關(guān)注，其工作目的是將文本中的實體指稱鏈接到知識庫中對應(yīng)的實體。大部分實體鏈接工作都是針對論壇或者博客的長文本信息，然而微博作為一種新的社交平臺，對這種短文本進行實體鏈接又會面臨很多問題。迅速地、準確地將微博中的實體指稱鏈接到知識庫，是一項有著十分重要意義的工作。對于科學(xué)研究來說，它可以提高機器翻譯的準確度、網(wǎng)頁搜索的文檔相關(guān)度，計算廣告中搜索廣告的點擊率，以及相關(guān)領(lǐng)域知識庫構(gòu)建的準確性。為了將微博中的命名實體

2、鏈接到無歧義的維基百科知識庫中，本文將實體鏈接工作具體分為以下3個主要部分。
　　第一部分是微博中的命名實體識別。由于考慮到英文不需要分詞的特殊性質(zhì)，本文將微博定位為英文微博Twitter。長文本中命名實體識別常采用基于規(guī)則、基于條件隨機場的方法，但這些方法在面向微博的命名實體識別工作中，效果并不顯著。本文采用標注的潛在狄利克雷主題模型，生成實體指稱在實體類別上的先驗分布，利用貝葉斯法則得到實體指稱屬于某個命名實體類別的概率。將標

3、注的潛在狄利克雷主題模型與條件隨機場的預(yù)測結(jié)果相結(jié)合，實驗結(jié)果表明，融合后的模型對微博這種短文本進行命名實體識別可以取得較好的效果。
　　第二部分是候選實體的生成及其特征提取。生成候選實體常采用基于維基百科的查詢擴展方法，但是這種方法的弊處在于生成候選實體數(shù)量過多，會引入較多有歧義性的候選實體。采用傳統(tǒng)的支持向量機模型，對這些候選實體進行篩選，得到覆蓋率較高并且數(shù)量較少的候選實體。在特征提取方面，針對微博短文本的特點，用局部特征和