面向日文輸入法的混合語言模型的改進(jìn)與實(shí)現(xiàn).pdf

1、隨著計算機(jī)的不斷發(fā)展,計算機(jī)已經(jīng)滲透到生活和工作的方方面面,同時,在計算機(jī)的使用過程中,針對計算機(jī)的信息輸入是人機(jī)交互中的一個重要環(huán)節(jié)。因此,人們對于一個良好的智能輸入法的需求也越來越強(qiáng)烈,輸入法的重要性也慢慢的體現(xiàn)出來。
　　隨著自然語言處理技術(shù)的發(fā)展,傳統(tǒng)的輸入法已從最開始的字、詞模型發(fā)展到現(xiàn)在的基于語言模型的智能輸入法。使用基于詞條粒度的語言模型來提高整句變換的轉(zhuǎn)換精度,使得音字轉(zhuǎn)換準(zhǔn)確率有了很大的提高。然而完整的語言模型往

2、往過大,輸入法無法使用,因此對語言模型進(jìn)行壓縮操作則顯得十分必要。本文沒有使用常規(guī)輸入法模型中慣用的剪枝方法,即保留部分核心詞條的語言模型的方案?？紤]到日文語言規(guī)則性較強(qiáng)的特點(diǎn),筆者采用對詞條進(jìn)行聚類的方法對語言模型進(jìn)行壓縮,用詞類之間的關(guān)系來替代詞條之間的關(guān)系,大大增加了語料利用率,減少了語言模型中的稀疏情況。
　　同時,為了減少對語言模型進(jìn)行聚類壓縮過程中造成的損失,盡可能地減少壓縮帶來的信息丟失,筆者對僅使用詞性信息進(jìn)行聚類

3、的方法進(jìn)行了改進(jìn),使用詞條之間的距離特征進(jìn)行聚類,盡可能的降低同一類中的詞條重碼率,提出了一種基于詞條之間的編輯距離的k-mean聚類算法。除此之外,還考慮到每個類別中詞條詞頻的數(shù)量級,避免擁有不同數(shù)量級的詞頻之間因類別合并而造成詞頻信息的大量損失。另外,對于無法避免的壓縮造成的模型信息的丟失,使用Bigram的語言模型進(jìn)行補(bǔ)充,同時針對讀音模型的準(zhǔn)確率和覆蓋率做了相應(yīng)的改進(jìn)和提高。
　　最后,建立一種可擴(kuò)展的基于混合語言的模型,