版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、在自然語言處理中,統(tǒng)計(jì)方法占據(jù)著重要的地位。通過自動或半自動方式從大量數(shù)據(jù)中學(xué)習(xí)語言的統(tǒng)計(jì)知識,這類方法可以有效地對各種語言現(xiàn)象進(jìn)行建模,其實(shí)用性也在中文分詞、詞性標(biāo)注、句法分析等具體任務(wù)中得了很好的證明。然而與統(tǒng)計(jì)語言模型所能描述的語言現(xiàn)象相比,實(shí)際應(yīng)用中的自然語言要復(fù)雜得多,特別是各種各樣的約束條件,如長距離句法約束關(guān)系等困難問題,很難使用純統(tǒng)計(jì)的方法進(jìn)行處理,因此目前自然語言處理研究的主要思路是在統(tǒng)計(jì)模型框架下,整合各種基于規(guī)則進(jìn)
2、行描述的語言知識,不斷提高語言處理系統(tǒng)的性能。
圖模型把圖論和統(tǒng)計(jì)方法結(jié)合起來,把基于圖的推理應(yīng)用到概率統(tǒng)計(jì)框架中,為描述自然語言中各種復(fù)雜的約束關(guān)系提出了一種可行的思路。圖模型定義在一組與問題相關(guān)的隨機(jī)變量上,每個變量對應(yīng)于圖中的一個節(jié)點(diǎn),節(jié)點(diǎn)之間的約束關(guān)系用邊表示,通過因子圖的定義把圖的結(jié)構(gòu)和指數(shù)概率分布族聯(lián)系起來,以特征的方式把語言知識或現(xiàn)象采用統(tǒng)一的方式整合到概率分布中,用于解決各種自然語言處理任務(wù)。本文首先給出圖模型
3、的基本定義,并詳細(xì)介紹了兩種常用的圖模型:最大熵模型和條件隨機(jī)場,隨后提出了一種基于權(quán)值的特征選擇算法,并對圖模型的融合策略進(jìn)行了探討,最后論述了使用圖模型在音字轉(zhuǎn)換和句法語義依存分析中所做的工作,具體來講,主要包括以下4個方面的內(nèi)容。
(1)探討自然語言處理中常用的特征選擇算法,并基于對圖模型基本結(jié)構(gòu)的分析,提出了一種基于權(quán)值的特征選擇算法,算法以權(quán)值大小作為衡量特征重要性的唯一標(biāo)準(zhǔn),并根據(jù)問題的最終目標(biāo)進(jìn)行特征篩選。為了保
4、證算法的可行性,特征空間首先根據(jù)分而治之的思想被劃分為若干個不相交的子空間,并分別在各個子空間上構(gòu)造圖模型,特征選擇過程被應(yīng)用于各個子模型,最后把各個子空間中保留下來的特征及其權(quán)值組合起來構(gòu)成最終的特征空間,同時也完成了模型的構(gòu)造過程。由于自然語言問題中特征空間規(guī)模通常很大,這種算法為有效篩選有用特征提供了一種新的思路。
(2)討論圖模型融合的基本過程,并重點(diǎn)分析了基于結(jié)果層次的多數(shù)表決算法和基于特征層次的模型融合算法,前者不
5、關(guān)心各個子模型的實(shí)現(xiàn)細(xì)節(jié),通過使用投票方法整合各個子模型的結(jié)論獲取最終結(jié)果,后者使用多種策略合并特征在不同子模型中的權(quán)值構(gòu)造唯一的圖模型。為了驗(yàn)證融合算法的有效性,構(gòu)造了一個使用所有特征進(jìn)行訓(xùn)練的單一模型用于比較,結(jié)果表明,融合模型在合成數(shù)據(jù)和詞性標(biāo)注問題上具有一定的可比性,甚至在某些方面優(yōu)于單一模型。
(3)把音字轉(zhuǎn)換問題作為序列標(biāo)注問題進(jìn)行處理,探討了最大熵模型和條件隨機(jī)場模型在該問題中的應(yīng)用,此外還針對同音字集合的特點(diǎn)提
6、出了一種基于字頻序的音字轉(zhuǎn)換方法,首先把拼音轉(zhuǎn)換成字頻序,然后使用字頻序跟漢字之間的映射關(guān)系推導(dǎo)出漢字,這種方法為處理大標(biāo)注集問題提供了一種借鑒思路。算法的有效性在手工整理的規(guī)模為50000個漢語句子的語料上進(jìn)行了驗(yàn)證,實(shí)驗(yàn)結(jié)果說明,圖模型能夠有效解決音字轉(zhuǎn)換問題。
(4)句法語義依存分析被分成句法依存分析、中心謂詞識別和語義依存分析三個子任務(wù)進(jìn)行處理。在句法分析中,把基于圖模型定義的指數(shù)概率分布函數(shù)作為得分函數(shù)應(yīng)用于最大生成
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 圖模型在自然語言處理中的研究與應(yīng)用.pdf
- 神經(jīng)語言模型在自然語言處理中的應(yīng)用.pdf
- 自然語言處理中序列標(biāo)注模型的研究.pdf
- 分布式表示與組合模型在中文自然語言處理中的應(yīng)用.pdf
- 半監(jiān)督算法在自然語言處理中應(yīng)用的研究.pdf
- 自然語言處理KN模型在機(jī)器翻譯優(yōu)化中的應(yīng)用.pdf
- 韻律結(jié)構(gòu)信息在自然語言處理中的應(yīng)用研究.pdf
- 自然語言處理在測試腳本自動生成中的應(yīng)用
- 自然語言處理在測試腳本自動生成中的應(yīng)用.pdf
- 最大熵方法及其在自然語言處理中的應(yīng)用.pdf
- 自然語言的計(jì)算機(jī)處理模型.pdf
- 信息-知識-智能轉(zhuǎn)換理論在自然語言處理中的應(yīng)用研究.pdf
- 自然語言處理中的資源共享
- 自然語言處理中相關(guān)語義技術(shù)的研究.pdf
- 面向篇章處理的自然語言理解過程匯聚模型及其在智能儀器設(shè)計(jì)中的應(yīng)用.pdf
- 自然語言的應(yīng)用研究
- 自然語言處理分詞文檔
- 自然語言處理分詞文檔
- 自然語言理解中動詞組合的處理研究及其在智能儀器中的應(yīng)用.pdf
- 最新自然語言處理naturallanguageprocessingnlp
評論
0/150
提交評論