Urdu語(yǔ)言詞性標(biāo)注的統(tǒng)計(jì)學(xué)方法.pdf

1、語(yǔ)言在人們的日常生活中扮演著重要的角色，是執(zhí)行任務(wù)、完成工作的手段。語(yǔ)言有口語(yǔ)、書(shū)面語(yǔ)之分。在任何語(yǔ)言處理任務(wù)中，語(yǔ)料庫(kù)語(yǔ)言學(xué)的研究都很有意義。一般來(lái)說(shuō)，語(yǔ)料是組織好的文本集合，包括口語(yǔ)和書(shū)面語(yǔ)資源。從計(jì)算語(yǔ)言學(xué)的角度，語(yǔ)料是采用電子手段處理的大量文本的集合，包含各種各樣的信息。語(yǔ)料能夠準(zhǔn)確揭示語(yǔ)言的使用模式，是語(yǔ)言統(tǒng)計(jì)學(xué)產(chǎn)生的根源。不同的基于語(yǔ)料庫(kù)的方法可以被用來(lái)完成不同的語(yǔ)言學(xué)相關(guān)任務(wù)。
　　基本上，對(duì)屈折語(yǔ)言進(jìn)行句法分析和信

2、息檢索等任務(wù)的研究時(shí)，使用的資源是經(jīng)過(guò)詞法分析的文本。例如給每個(gè)詞語(yǔ)指定一個(gè)包含所有可能詞法類(lèi)別標(biāo)記的集合，能夠使詞語(yǔ)本身更有意義，也更容易理解。然而多數(shù)系統(tǒng)需要更加精準(zhǔn)的信息，這些系統(tǒng)僅僅需要一個(gè)單獨(dú)的詞法類(lèi)別，以便準(zhǔn)確地應(yīng)用在特定的文本中。這一過(guò)程被稱(chēng)為“標(biāo)注”（Tagging），它利用輸入文本中詞語(yǔ)的上下文從標(biāo)記類(lèi)別中選擇最適當(dāng)?shù)臉?biāo)記。
　　在任何與自然語(yǔ)言處理相關(guān)的任務(wù)中，標(biāo)注問(wèn)題的重要性都絲毫不能忽略。本文的主要研究對(duì)象

3、是烏爾都語(yǔ)（Urdu）。跟其他語(yǔ)言，如英語(yǔ)、漢語(yǔ)相比，烏爾都語(yǔ)的計(jì)算機(jī)自動(dòng)處理技術(shù)研究遠(yuǎn)遠(yuǎn)落在后面。這主要?dú)w因于缺乏標(biāo)準(zhǔn)標(biāo)注集和已標(biāo)注資源?？紤]到這些資源的昂貴價(jià)格和構(gòu)建的困難性，這是難以避免的。然而，就像論文里所描述的，我們跨越了這些障礙。
　　烏爾都語(yǔ)屬于印歐語(yǔ)系，受波斯語(yǔ)和阿拉伯語(yǔ)的影響很大，同印地語(yǔ)關(guān)系密切，是東南亞地區(qū)的一種重要語(yǔ)言。在許多國(guó)家，如巴基斯坦、印度和阿富汗等具有重要的地位。全世界有超過(guò)6千萬(wàn)人把烏爾都語(yǔ)作為

4、母語(yǔ)，有超過(guò)1億人把烏爾都語(yǔ)作為第二語(yǔ)言。在互聯(lián)網(wǎng)時(shí)代，研究烏爾都語(yǔ)的自動(dòng)處理技術(shù)，對(duì)于烏爾都語(yǔ)的使用和推廣具有重要作用，因而本文的研究具有重要意義。
　　我們考察了烏爾都語(yǔ)詞性標(biāo)注研究中的各種不同問(wèn)題。對(duì)烏爾都語(yǔ)分析的結(jié)果表明，對(duì)于詞序自由（freewordorder）和高度屈折（highlyinflected）的語(yǔ)言來(lái)說(shuō)，未登錄詞是標(biāo)注錯(cuò)誤的主要來(lái)源。英語(yǔ)中的未登錄詞大多數(shù)都是專(zhuān)有名詞，然而研究表明，烏爾都語(yǔ)的未登錄詞通常是有

5、標(biāo)志或無(wú)標(biāo)志的名詞、動(dòng)詞以及無(wú)標(biāo)志的形容詞。這些未登錄詞與烏爾都語(yǔ)結(jié)合起來(lái)，加深了標(biāo)注問(wèn)題的難度，在這個(gè)意義上烏爾都語(yǔ)更像土耳其語(yǔ)（Turkish）或捷克語(yǔ)（Czech），而不是英語(yǔ)。
　　本文著重論述我們?cè)跒鯛柖颊Z(yǔ)詞性標(biāo)注方面所取得的進(jìn)展。統(tǒng)計(jì)方法在其他自然語(yǔ)言的處理過(guò)程中曾經(jīng)大顯身手，因此他們也被用來(lái)構(gòu)建和標(biāo)注烏爾都語(yǔ)的語(yǔ)料庫(kù)。鑒于其他印度語(yǔ)系語(yǔ)言語(yǔ)料的缺乏，本文所獲得的事實(shí)和結(jié)論對(duì)于其他印度語(yǔ)系語(yǔ)言來(lái)說(shuō)也富有積極的啟發(fā)意義。

6、
　　烏爾都語(yǔ)作為一種高度屈折和詞序結(jié)構(gòu)自由的語(yǔ)言，具有很高的歧義性。本文著重于使用不同的基于統(tǒng)計(jì)的方法來(lái)處理烏爾都語(yǔ)語(yǔ)料，比如N-gram，基于詞形態(tài)結(jié)構(gòu)的模型，隱馬爾科夫模型（HiddenMarkovModel）以及最大熵模型（MaximumEntropyModel）。
　　我們首先使用了N-gram模型，重點(diǎn)分析了Unigram、Bi-gram和Back-off模型在烏爾都語(yǔ)詞性標(biāo)注中的應(yīng)用。這些模型標(biāo)注時(shí)使用了覆蓋詞

7、語(yǔ)周?chē)畔⒌纳舷挛?。我們也分別考察了兩種標(biāo)注集（大小不同）和語(yǔ)料規(guī)模對(duì)N-gram標(biāo)注模型性能的影響，結(jié)果表明我們提出的小標(biāo)注集獲得了非常好的效果。在大、小標(biāo)注集的基礎(chǔ)上，我們進(jìn)一步構(gòu)造了混淆矩陣來(lái)分析最容易產(chǎn)生歧義的標(biāo)注子集，并通過(guò)使用基于統(tǒng)計(jì)的t-分布來(lái)考察使用大、小標(biāo)注集結(jié)果的有效性。跟其他復(fù)雜的統(tǒng)計(jì)模型相比較，N-gram既簡(jiǎn)單又有效。
　　接著我們使用隱馬爾科夫模型來(lái)解決歧義問(wèn)題。我們使用有監(jiān)督學(xué)習(xí)算法基于已標(biāo)注語(yǔ)料庫(kù)進(jìn)

8、行模型的參數(shù)選擇，并使用Viterbi算法找出與文本中詞語(yǔ)序列最匹配的詞性標(biāo)記序列。我們的方法最突出的特點(diǎn)是在隱馬爾科夫模型中整合了多種有名的平滑技術(shù)，比如Laplace、Lidstone、Expected、Likelihood、WittenBell和GoodTuring等等。我們觀察到平滑技術(shù)在處理未登錄詞時(shí)起到了很重要的作用，但是有時(shí)基于規(guī)則的方法也很有效。對(duì)于各種平滑技術(shù)，我們針對(duì)屈折性比較高的詞性標(biāo)記構(gòu)造了混淆矩陣進(jìn)行分析。此外

9、，還使用了基于方差分析（ANOVA）的統(tǒng)計(jì)評(píng)價(jià)方法進(jìn)行分析，結(jié)果表明平滑技術(shù)對(duì)于整體的標(biāo)注正確率和未登錄詞正確率有很重要的影響。
　　最大熵模型也被我們采用用來(lái)解決烏爾都語(yǔ)的詞性標(biāo)注問(wèn)題。最大熵模型也是一種有監(jiān)督的學(xué)習(xí)方法，因此需要標(biāo)注好的語(yǔ)料庫(kù)。在最大熵模型中，我們采用的特征包括詞語(yǔ)形態(tài)學(xué)特征和上下文特征。兩種參數(shù)估計(jì)方法：GIS和LBFGS被分別用來(lái)訓(xùn)練模型的參數(shù)。實(shí)驗(yàn)中我們發(fā)現(xiàn)，LBFGS比GIS具有更快的速度和更好的效果。

10、我們?cè)O(shè)計(jì)了針對(duì)不同標(biāo)注集和不同規(guī)模的訓(xùn)練集上的實(shí)驗(yàn)，這些實(shí)驗(yàn)的結(jié)果表明，采用最大熵方法，烏爾都語(yǔ)的詞性標(biāo)注的整體準(zhǔn)確率位于89.71％和97.16%之間。其中，詞表詞的詞性標(biāo)注的準(zhǔn)確率位于90.12%和97.73%之間，未登錄詞的詞性標(biāo)注的準(zhǔn)確率位于81.75%和86.20%之間。這個(gè)結(jié)果表明烏爾都語(yǔ)的詞性標(biāo)注的性能達(dá)到了實(shí)用水平。
　　最后我們把基于詞形態(tài)結(jié)構(gòu)的模型整合到統(tǒng)計(jì)模型中，著重評(píng)價(jià)基于詞形態(tài)結(jié)構(gòu)的方法在處理未登錄詞問(wèn)題

11、的效果。統(tǒng)計(jì)模型在此處僅僅起到過(guò)濾未登錄詞的作用。詞形態(tài)結(jié)構(gòu)特征基于常用的屈折變化進(jìn)行抽取，我們通過(guò)使用相關(guān)方法的結(jié)果的平均值來(lái)分析新模型的性能提升的統(tǒng)計(jì)顯著性。該分析在對(duì)詞性標(biāo)注的性能進(jìn)行評(píng)價(jià)的同時(shí)還能夠顯示每一個(gè)詞形態(tài)結(jié)構(gòu)特征集合的有效性。
　　本文中所有的標(biāo)注系統(tǒng)都是通過(guò)在EMILLE語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練獲得的，該語(yǔ)料庫(kù)由英國(guó)的蘭徹斯特大學(xué)（LancasterUniversity）創(chuàng)建。EMILLE語(yǔ)料庫(kù)主要由單語(yǔ)語(yǔ)料、平行語(yǔ)料