自然語言處理中介詞短語附著消歧問題的研究.pdf

1、歧義是自然語言處理中經(jīng)常遇見的一種語法現(xiàn)象。當(dāng)我們在對一個句子做句法分析的時候,常常會面臨這樣一個問題,即一個短語或者子句可以附著在兩個或者兩個以上的句子成員節(jié)點(diǎn)上,機(jī)器很難自動地區(qū)分正確的附著位置。這種情況不僅出現(xiàn)在漢語的句法分析任務(wù)中,同時在英語自然語言分析中也會遇到。但是介詞短語附著消歧問題只出現(xiàn)在英語或者其他的西方語言中。本文主要探討英語中經(jīng)常出現(xiàn)的介詞短語附著消歧問題。很早學(xué)者們就將其看成一個模式識別任務(wù),但是對它的形式化處理

2、卻不盡相同?，F(xiàn)在廣泛地將介詞短語附著消歧問題簡化為一個二值N和V的分類問題,它分別對應(yīng)介詞短語附著于名詞和動詞。因此我們只需要設(shè)計一個分類器就能很好地處理介詞短語附著消歧任務(wù)。
　　 首先,我們介紹了自然語言處理的國內(nèi)外研究現(xiàn)狀,以及課題研究的背景及理論基礎(chǔ)。同時概述了介詞短語附著消歧任務(wù)。然后我們引入了n元語法模型并且簡單地介紹了幾種數(shù)據(jù)平滑處理方法。其次,詳細(xì)描述了語義消歧問題,尤其是介詞短語附著消歧模型。我們介紹了目前比較

3、流行的幾種介詞短語附著消歧模型,例如貝葉斯模型,最大熵模型,支持向量機(jī)模型,回退模型等。而將重點(diǎn)放在我們提出的基于雙閾值直接回退模型上。我們構(gòu)建了這個模型,并將其在公共的IBM測試集合上進(jìn)行了測試,實(shí)驗(yàn)獲得了85.02％的準(zhǔn)確率和100％的召回率。我們指出很多學(xué)者將介詞短語附著消歧問題看成一個獨(dú)立的任務(wù),通過使用大量的語料,來提升算法的性能,而這個做法并不有利于句法分析任務(wù)的解決。實(shí)驗(yàn)結(jié)果也證明該方法是一種非常有效的消歧方法,并具有理論