命名實體語義消歧方法的研究.pdf

1、詞義消歧(W SD)技術是計算機根據(jù)文本距離、上下文語境等特征來自動獲取并確認詞語的意義。詞義歧義是指一詞多義,即一個詞在不同的上下文中有不同的詞義,也稱為歧義詞。而詞義消歧的目標就是確定文本中的歧義詞的確切含義。詞義消歧一直是計算語言學領域基礎性關鍵性的研究課題。作為一個中間任務,消歧直接關系到文本分類、信息檢索、機器翻譯、語音識別自然等語言處理系統(tǒng)的效果和效率。20世紀90年代以來,隨著語料庫的興起,基于語料庫的詞義消歧技術占主導地

2、位。其中大部分工作是人們通過對語料庫進行的有監(jiān)督或者無監(jiān)督學習來達到消歧目的。由于有監(jiān)督詞義消歧需要對訓練語料庫進行詞義的人工標注,較為費時和費力,因此無監(jiān)督學習方法是目前的主流。
　　而命名實體歧義指的是一個命名實體指稱項可對應到多個真實世界實體(或稱實體概念)的問題。命名實體消歧任務與普通的詞義消歧任務有很多相似之處,但是有其自身的難點:命名實體消歧目標難以確定、指稱項多樣性、指稱項歧義性。命名實體消歧任務分為單語種命名實體消

3、歧與多語種命名實體消歧。單語種命名實體消歧在國內(nèi)外均有很長時間的研究。而多語種命名實體消歧,特別是基于維基百科的多語種命名實體消歧,在當前研究也是剛剛起步,已有的方法較單語種命名實體消歧相比更為復雜,效果也離令人滿意有著比較遙遠的距離。因此,這是一個非常有價值的研究方向。
　　本文通過維基百科官方接口,獲取了中英文維基百科數(shù)據(jù)備份,在本地使用MySQL生成了維基百科數(shù)據(jù)庫。在算法方面,本文利用三個特征項:文本相似度、實體關聯(lián)度及類