基于詞典、規(guī)則與統(tǒng)計的蒙古文詞切分系統(tǒng)的研究.pdf

1、蒙古文是我國重要的少數(shù)民族語言文字之一。蒙古文信息處理技術(shù)的發(fā)展對蒙古族聚居區(qū)的政治、文化、生活的發(fā)展具有重要意義。
　　 蒙古文詞切分系統(tǒng)是蒙古文信息處理眾多后續(xù)工作的基礎(chǔ)。本文首次嘗試了在傳統(tǒng)蒙古文上進行詞切分,也首次嘗試了將詞典、規(guī)則與統(tǒng)計方法結(jié)合。
　　 本研究中,我們整理和校對了很多蒙古文語料及文檔。這些資料可作為蒙古文信息處理后續(xù)工作的基礎(chǔ)性資料。我們研究的蒙古文詞切分系統(tǒng)得到了理想的詞切分效率。本文提出的蒙

2、古文詞切分測試平臺,給出了統(tǒng)一的傳統(tǒng)蒙古文詞切分測試平臺。
　　 本文深入研究了蒙古文的語法和特點,并提出了改進的層次化語言模型。該模型不僅考慮了語境關(guān)系,也強調(diào)了詞內(nèi)各成分的高耦合度。
　　 我們的詞切分系統(tǒng),首先預(yù)處理了部分蒙古文詞。然后基于詞典切分了大部分蒙古文詞。最后對于剩余的蒙古文詞,先用蒙古文的各種規(guī)則生成了多個候選集,再用改進的層次化蒙古文語言模型來選擇正確的候選的詞切分方案。通過三種方法的有機結(jié)合,發(fā)揮各