漢語詞和短語的歧義消解研究.pdf

1、信息網(wǎng)絡(luò)技術(shù)的飛速發(fā)展使信息的發(fā)布和共享超越了時空限制，基于自然語言處理技術(shù)的文檔高質(zhì)量自動處理成為熱點研究課題。自然語言中普遍存在著歧義現(xiàn)象。計算機處理自然語言文檔時，必然要面對和解決各種歧義問題。歧義消解成為自然語言處理中的核心任務(wù)之一。語言中的歧義錯綜復雜，本文認為，簡單的單一分析不可能認識語言歧義的全貌，因而也就不可能高質(zhì)量地消解歧義，只有對歧義進行多視角綜合考察，才能達到此目標。為此，本文從縱橫兩個視角進行歧義研究。

2、一、基于全信息理論的橫向視角：信息有語法、語義和語用三個層次，語言信息同樣如此。而每個層次都存在歧義，即有語法歧義，語義歧義和語用歧義。這個角度有助于從語言邏輯層面更清晰地研究歧義特征。 二、基于語言單元的縱向視角：漢語的主要語言單元包括詞、短語及句子等。而歧義在每一級單元都存在，即有詞匯層歧義、短語層歧義以及句子層歧義等?？v向角度便于研究的具體實現(xiàn)，并有可能探索通用的消歧方法。 綜合這兩個角度，本文研究的內(nèi)容包括，從語

3、法層看的詞匯邊界歧義和短語邊界歧義，從語義層看的詞匯多義歧義、短語功能歧義及短語結(jié)構(gòu)歧義。 在各種歧義的研究中，本文主要圍繞歧義分類、歧義偵測和歧義消解三個問題進行。歧義分類研究各種歧義的特征，歧義偵測是為了發(fā)現(xiàn)歧義及確定歧義的位置，而基于歧義特點對偵測出的歧義進行消解則是語言處理的中心任務(wù)。 從兩個視角出發(fā)，集中解決三個問題構(gòu)成了本文的研究框架。 本文的主要研究成果包括以下幾點： 1．對漢語語言信息自動

4、處理時的歧義在特征上進行了分類。將詞匯級語法歧義分為交疊歧義和包絡(luò)歧義兩大類。提出了新的歧義偵測和消歧方法； 2．利用級聯(lián)分類方法改進了基于經(jīng)驗定義的短語識別的性能，有效降低了學習器訓練時間，進一步從語義角度研究了復合名詞短語定界歧義問題，同時實現(xiàn)了跨語料的短語識別及歧義研究； 3．用粒度短語的觀點處理漢語短語定義模糊的問題，實現(xiàn)了粒度名詞短語的定義和識別方法； 4．從短語功能角度完成句子骨架成分的識別，消解短語