最大熵模型在音字轉(zhuǎn)換中的應(yīng)用.pdf

1、本文以音字轉(zhuǎn)換問題為背景，以最大熵模型為基本框架，對漢語語言模型進行研究。音字轉(zhuǎn)換是指由計算機自動地將連續(xù)的拼音串轉(zhuǎn)換成相應(yīng)的漢字串，正確的音字轉(zhuǎn)換是解決鍵盤輸入、語音識別、語音合成等等自然語言應(yīng)用問題的關(guān)鍵。音字轉(zhuǎn)換問題源于拼音與漢字并非一一對應(yīng)。本文通過建立最大熵語言模型，解決音字轉(zhuǎn)換中的歧異問題，實現(xiàn)漢語的音字轉(zhuǎn)換。 本文首先對語言模型進行了研究。語言模型主要分為基于規(guī)則的語言模型和基于統(tǒng)計的語言模型。一個基于統(tǒng)計的語言模

2、型是把自然語言被看作是一個隨機過程，其中每一個語言單位，包括詞、句子或篇章等，均被看作是帶有某種概率分布的隨機變量，計算機通過統(tǒng)計語言模型的概率參數(shù)，可以估計出自然語言中每個句子出現(xiàn)的可能性?；谝?guī)則的語言模型對一個輸入的文字串，借助于文法規(guī)則，推導(dǎo)出該文字串的語法結(jié)構(gòu)，從而判斷出該文字串是否符合文法。 在分析了語言模型的基礎(chǔ)上，本文采用最大熵方法建立自然語言模型。最大熵方法是統(tǒng)計方法和規(guī)則方法的結(jié)合：它采用統(tǒng)計的方法建立模型，

3、使求得的模型滿足語言特征的統(tǒng)計分布；同時，最大熵語言模型能夠把各種異構(gòu)的語言特征巧妙地結(jié)合在一個統(tǒng)一的框架之下，最大熵方法豐富的特征選擇方式，使規(guī)則模型所依賴的語法自然而然的融入了語言模型之中。最大熵方法的建模原則是對已知的事實建模，對未知的情況不作任何假設(shè)。建立最大熵語言模型時，把反映語言知識的語言特征作為模型的約束條件，使建立的語言模型與已知的語言知識一致，對未知的語言知識，使其盡可能均勻的分布。 本文還嘗試將音字轉(zhuǎn)換模塊加