維吾爾語統(tǒng)計語言模型中建模基元的研究.pdf

1、語言模型是描述自然語言內(nèi)在規(guī)律的數(shù)學模型，在自然語言處理過程中占據(jù)著重要的地位，但目前維吾爾語語言模型的研究尚處于起步探索階段，因此構建一個可靠的語言模型對于維吾爾語自然語言處理系統(tǒng)很關鍵。維吾爾語語言模型是維吾爾語自然語言處理技術的重要基石，它可以應用于語音識別、機器翻譯、信息檢索等領域，它的研究對促進新疆地區(qū)的少數(shù)民族語言自然語言處理技術的發(fā)展具有重要的意義。
　　本文針對當前維吾爾語語言模型存在的語料庫資源匱乏問題、數(shù)據(jù)稀疏

2、問題以及困惑度較高等問題，試圖找出使困惑度最低的平滑算法和建模單元（基元）建立語言模型。具體研究工作如下所示：
　　為解決數(shù)據(jù)稀疏問題，研究了多種平滑算法，包括加法平滑算法、Good-Turing平滑、Witten-Bell平滑、Katz平滑、絕對折扣平滑、Kneser-Ney平滑。實驗結果表明絕對折扣平滑算法的困惑度最低。
　　本文將基于電話信道的維吾爾口語對話的文本、雙語教學系統(tǒng)中的課本教材以及一些日常用語作為實驗數(shù)據(jù)，

3、然后對這些實驗數(shù)據(jù)進行預處理和加工處理，并將處理后的數(shù)據(jù)作為本實驗中建立維吾爾語語言模型的文本語料。預處理后對維吾爾語文本語料進行分詞，這里采用兩種分詞方法：一種是基于詞典的維吾爾語詞切分，一種是非監(jiān)督式形態(tài)切分。
　　在基于維吾爾語分詞的基礎上，對傳統(tǒng)的N-gram統(tǒng)計語言模型做出改進。將維吾爾語單詞切分成不同單元，以它們作為基元（模型粒度）建立了3種維吾爾語語言模型，并提出基于詞素類的N-gram語言模型。本文利用SRILM1